知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-28
(45)【発行日】2024-04-05
(54)【発明の名称】口腔内カメラシステム、歯牙識別方法、制御方法及びプログラム
(51)【国際特許分類】
A61B 1/247 20060101AFI20240329BHJP
A61B 1/00 20060101ALI20240329BHJP
A61B 1/045 20060101ALI20240329BHJP
A61C 19/04 20060101ALI20240329BHJP
G06T 7/00 20170101ALI20240329BHJP
G06T 7/70 20170101ALI20240329BHJP
G06V 10/82 20220101ALI20240329BHJP
【ＦＩ】
A61B1/247
A61B1/00 552
A61B1/045 618
A61B1/045 614
A61C19/04 Z
G06T7/00 350C
G06T7/70 A
G06V10/82
【請求項の数】
15
(21)【出願番号】P 2023500917
(86)(22)【出願日】2022-02-17
(86)【国際出願番号】 JP2022006358
(87)【国際公開番号】W WO2022176941
(87)【国際公開日】2022-08-25
【審査請求日】2023-01-06
(31)【優先権主張番号】P 2021026076
(32)【優先日】2021-02-22
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(74)【代理人】
【識別番号】100137235
【弁理士】
【氏名又は名称】寺谷 英作
(74)【代理人】
【識別番号】100131417
【弁理士】
【氏名又は名称】道坂 伸一
(72)【発明者】
【氏名】大塚 泰雄
(72)【発明者】
【氏名】伊澤 正人
(72)【発明者】
【氏名】小川 智輝
(72)【発明者】
【氏名】中嶋 俊幸
(72)【発明者】
【氏名】粟飯原 雅之
(72)【発明者】
【氏名】船本 和宏
(72)【発明者】
【氏名】三木 匡
【審査官】増渕 俊仁
(56)【参考文献】
【文献】特開２０２０－９６７９７（ＪＰ，Ａ）
【文献】特表２０２０－５１６３３５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０３０３５８１（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／０３３３６２７（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００－１／３２
Ａ６１Ｃ １９／０４
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／８２
(57)【特許請求の範囲】
【請求項1】
ユーザの口腔内の歯牙を撮影することで画像データを生成する撮影部と、多軸加速度センサの出力に基づき前記撮影部の姿勢を検出する姿勢検出部と、
検出した前記姿勢に基づき、歯列を区分することで定義される前記口腔内の複数の領域のうち前記撮影部が撮影している領域を検出する領域検出部と、
前記画像データと、検出された前記領域とに基づき、歯牙の種類及び位置の複数の候補から、使用する候補を絞り込み、絞り込んだ候補と前記画像データとに基づき、前記歯牙の種類及び位置を識別する識別部と、を備える
口腔内カメラシステム。
【請求項2】
前記領域検出部は、前記領域の検出において、少なくとも上顎の領域か、下顎の領域かを検出する請求項１記載の口腔内カメラシステム。
【請求項3】
前記複数の領域は、前記上顎の領域に含まれる複数の領域と、前記下顎の領域に含まれる複数の領域とを含む請求項２記載の口腔内カメラシステム。
【請求項4】
前記領域検出部は、さらに、検出した前記姿勢に基づき、撮影方向を検出し、前記識別部は、前記画像データと、検出された前記領域及び前記撮影方向とに基づき前記歯牙の種類及び位置を識別する
請求項１～３のいずれか１項に記載の口腔内カメラシステム。
【請求項5】
前記識別部は、前記画像データを用いて、歯牙の種類及び位置の複数の候補の各々に対して評価値を算出し、
検出した前記領域に応じて前記評価値を補正し、
補正された前記評価値を用いて、前記画像データで示される前記歯牙の種類及び位置を識別する
請求項１～４のいずれか１項に記載の口腔内カメラシステム。
【請求項6】
前記識別部は、ニューラルネットワークを含み、前記画像データと、検出された前記領域とを入力とし、前記歯牙の種類及び位置を出力する推定モデルを用いて、前記歯牙の種類及び位置を識別する請求項１～４のいずれか１項に記載の口腔内カメラシステム。
【請求項7】
前記識別部は、前記画像データから歯間位置を検出し、
検出された歯間位置に基づき、各々が一つの歯牙を示す歯牙画像を生成し、
前記歯牙画像と、検出された前記領域とに基づき前記歯牙画像で示される歯牙の種類及び位置を識別する
請求項１～６のいずれか１項に記載の口腔内カメラシステム。
【請求項8】
前記口腔内カメラシステムは、さらに、前記ユーザの性別、年齢層及び人種の少なくとも一つを示すユーザ情報を取得するユーザ情報取得部を含み、前記識別部は、前記ユーザ情報と、前記画像データと、検出された前記領域とに基づき前記歯牙の種類及び位置を識別する
請求項１～７のいずれか１項に記載の口腔内カメラシステム。
【請求項9】
前記撮影部の所定の姿勢である初期姿勢を取得し、前記領域検出部は、検出した前記姿勢を前記初期姿勢を用いて補正し、補正された前記姿勢に基づき、前記複数の領域のうち前記撮影部が撮影している領域を検出する
請求項１～８のいずれか１項に記載の口腔内カメラシステム。
【請求項10】
前記所定の姿勢は、ユーザの姿勢と前記撮影部の姿勢とが予め定められた関係となる前記撮影部の姿勢である請求項９記載の口腔内カメラシステム。
【請求項11】
前記撮影部は、ハンドル部と、画像データを生成する撮像素子を含むヘッド部と、前記ハンドル部と前記ヘッド部とを接続するネック部とを含み、前記所定の姿勢は、前記ユーザの前額面と前記撮影部の撮像面とが平行であり、かつ、前記撮像面における平面視において前記ユーザの垂直軸と前記ハンドル部から前記ヘッド部に向かう方向とが一致又は直交する状態である
請求項１０記載の口腔内カメラシステム。
【請求項12】
前記撮影部は、ハンドル部と、画像データを生成する撮像素子を含むヘッド部と、前記ハンドル部と前記ヘッド部とを接続するネック部とを含み、前記所定の姿勢は、予め定められた歯牙と前記撮影部の撮像面とを平行に正対させ、かつ、前記撮像面における平面視において前記ハンドル部から前記ヘッド部に向かう方向と前記予め定められた歯牙の高さ方向とが一致又は直交する状態である
請求項９記載の口腔内カメラシステム。
【請求項13】
撮影部が、ユーザの口腔内の歯牙を撮影することで画像データを生成し、多軸加速度センサの出力に基づいて前記撮影部の姿勢を検出し、検出した前記姿勢に基づき、歯列を区分することで定義される前記口腔内の複数の領域のうち前記撮影部が撮影している領域を検出し、
前記画像データと、検出された前記領域とに基づき、歯牙の種類及び位置の複数の候補から、使用する候補を絞り込み、絞り込んだ候補と前記画像データとに基づき、前記画像データで示される前記歯牙の種類及び位置を識別する
歯牙識別方法。
【請求項14】
１または複数のプロセッサと、表示部とを有する口腔内カメラシステムの制御方法であって、
前記１または複数のプロセッサは、
口腔内カメラがユーザの口腔内の歯牙を撮影することで生成された画像データを取得し、
前記口腔内カメラの姿勢に基づいて歯列を区分することで定義される前記口腔内の複数の領域から前記口腔内カメラが撮影している領域を検出し、
前記画像データと、検出された前記領域とに基づき、歯牙の種類及び位置の複数の候補から、使用する候補を絞り込み、
絞り込んだ候補と前記画像データとに基づき、前記画像データで示される前記歯牙の種類及び位置を識別し、
前記表示部は、前記歯牙の種類及び位置に関する情報を表示する
制御方法。
【請求項15】
請求項１４に記載の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、口腔内カメラシステム及び歯牙識別方法に関する。
【背景技術】
【0002】
口腔内の歯牙の種類は識別手法として、ニューラルネットワークを含む推定モデルを用いる方法が特許文献１に開示されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２０－９６７９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
このような、歯牙の種類を識別する口腔内カメラシステム等においては、識別精度を向上できることが望まれている。
【0005】
そこで、本開示は、歯牙の識別精度を向上できる口腔内カメラシステム及び歯牙識別方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
本開示の一態様に係る口腔内カメラシステムは、ユーザの口腔内の歯牙を撮影することで画像データを生成する撮影部と、多軸加速度センサの出力に基づき前記撮影部の姿勢を検出する姿勢検出部と、検出した前記姿勢に基づき、歯列を区分することで定義される前記口腔内の複数の領域のうち前記撮影部が撮影している領域を検出する領域検出部と、前記画像データと、検出された前記領域とに基づき、歯牙の種類及び位置の複数の候補から、使用する候補を絞り込み、絞り込んだ候補と前記画像データとに基づき、前記歯牙の種類及び位置を識別する識別部と、を備える。
【発明の効果】
【0007】
本開示は、歯牙の識別精度を向上できる口腔内カメラシステム及び歯牙識別方法を提供できる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
本開示の一態様に係る口腔内カメラシステムは、ユーザの口腔内の歯牙を撮影することで画像データを生成する撮影部と、多軸加速度センサの出力に基づき前記撮影部の姿勢を検出する姿勢検出部と、検出した前記姿勢に基づき、歯列を区分することで定義される前記口腔内の複数の領域のうち前記撮影部が撮影している領域を検出する領域検出部と、前記画像データと、検出された前記領域とに基づき、歯牙の種類及び位置の複数の候補から、使用する候補を絞り込み、絞り込んだ候補と前記画像データとに基づき、前記歯牙の種類及び位置を識別する識別部と、を備える。
【0010】
これによれば、当該口腔内カメラシステムは、撮影部の姿勢に基づき、撮影対象の領域を判定し、判定された領域を用いて、歯牙の種類及び位置を識別する。これにより、処理量を低減できるとともに、識別精度を向上できる。
【0011】
例えば、前記領域検出部は、前記領域の検出において、少なくとも上顎の領域か、下顎の領域かを検出してもよい。
【0012】
例えば、前記複数の領域は、前記上顎の領域に含まれる複数の領域と、前記下顎の領域に含まれる複数の領域とを含んでもよい。
【0013】
これによれば、当該口腔内カメラシステムは、領域をより細かく分類することができるので、識別精度を向上できる。
【0014】
例えば、前記領域検出部は、さらに、検出した前記姿勢に基づき、撮影方向を検出し、前記識別部は、前記画像データと、検出された前記領域及び前記撮影方向とに基づき前記歯牙の種類及び位置を識別してもよい。
【0015】
これによれば、当該口腔内カメラシステムは、領域をより細かく分類することができるので、識別精度を向上できる。
【0016】
例えば、前記識別部は、前記画像データを用いて、歯牙の種類及び位置の複数の候補の各々に対して評価値を算出し、検出した前記領域に応じて前記評価値を補正し、補正された前記評価値を用いて、前記画像データで示される前記歯牙の種類及び位置を識別してもよい。
【0017】
例えば、前記識別部は、ニューラルネットワークを含み、前記画像データと、検出された前記領域とを入力とし、前記歯牙の種類及び位置を出力する推定モデルを用いて、前記歯牙の種類及び位置を識別してもよい。
【0018】
例えば、前記識別部は、前記画像データから歯間位置を検出し、検出された歯間位置に基づき、各々が一つの歯牙を示す歯牙画像を生成し、前記歯牙画像と、検出された前記領域とに基づき前記歯牙画像で示される歯牙の種類及び位置を識別してもよい。
【0019】
例えば、前記口腔内カメラシステムは、さらに、前記ユーザの性別、年齢層及び人種の少なくとも一つを示すユーザ情報を取得するユーザ情報取得部を含み、前記識別部は、前記ユーザ情報と、前記画像データと、検出された前記領域とに基づき前記歯牙の種類及び位置を識別してもよい。
【0020】
これによれば、当該口腔内カメラシステムは、例えば、ユーザ情報に基づき、適切な識別を行えるので、識別精度を向上できる。
【0021】
例えば、前記撮影部の所定の姿勢である初期姿勢を取得し、前記領域検出部は、検出した前記姿勢を前記初期姿勢を用いて補正し、補正された前記姿勢に基づき、前記複数の領域のうち前記撮影部が撮影している領域を検出してもよい。
【0022】
これによれば、当該口腔内カメラシステムは、ユーザの姿勢に応じて撮影部の姿勢を補正することで、処理の精度を向上できる。
【0023】
例えば、前記所定の姿勢は、ユーザの姿勢と前記撮影部の姿勢とが予め定められた関係となる前記撮影部の姿勢であってもよい。
【0024】
例えば、前記撮影部は、ハンドル部と、画像データを生成する撮像素子を含むヘッド部と、前記ハンドル部と前記ヘッド部とを接続するネック部とを含み、前記所定の姿勢は、前記ユーザの前額面と前記撮影部の撮像面とが平行であり、かつ、前記撮像面における平面視において前記ユーザの垂直軸と前記ハンドル部から前記ヘッド部に向かう方向とが一致又は直交する状態であってもよい。
【0025】
例えば、前記撮影部は、ハンドル部と、画像データを生成する撮像素子を含むヘッド部と、前記ハンドル部と前記ヘッド部とを接続するネック部とを含み、前記予め定められた姿勢は、予め定められた歯牙と前記撮影部の撮像面とを平行に正対させ、かつ、前記撮像面における平面視において前記ハンドル部から前記ヘッド部に向かう方向と前記予め定められた歯牙の高さ方向とが一致又は直交する状態であってもよい。
【0026】
これによれば、ユーザは初期姿勢の取得を容易に行える。また、初期姿勢の精度が向上することで補正の精度を向上できる。
【0027】
また、本開示の一態様に係る歯牙識別方法は、撮影部が、ユーザの口腔内の歯牙を撮影することで画像データを生成し、多軸加速度センサの出力に基づいて前記撮影部の姿勢を検出し、検出した前記姿勢に基づき、歯列を区分することで定義される前記口腔内の複数の領域のうち前記撮影部が撮影している領域を検出し、前記画像データと、検出された前記領域とに基づき、歯牙の種類及び位置の複数の候補から、使用する候補を絞り込み、絞り込んだ候補と前記画像データとに基づき、前記画像データで示される前記歯牙の種類及び位置を識別する。
【0028】
これによれば、当該歯牙識別方法は、撮影部の姿勢に基づき、撮影対象の領域を判定し、判定された領域を用いて、歯牙の種類及び位置を識別する。これにより、処理量を低減できるとともに、識別精度を向上できる。
【0029】
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
【0030】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0031】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するものであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【0032】
（実施の形態）
図１は、本実施の形態に係る口腔内カメラシステムにおける口腔内カメラの斜視図である。図１に示すように、口腔内カメラ１０は、片手で取り扱うことが可能な歯ブラシ状の筺体を備え、その筺体は、歯列撮影時にユーザの口腔内に配置されるヘッド部１０ａと、ユーザが把持するハンドル部１０ｂと、ヘッド部１０ａとハンドル部１０ｂとを接続するネック部１０ｃとを含んでいる。
図１は、本実施の形態に係る口腔内カメラシステムにおける口腔内カメラの斜視図である。図１に示すように、口腔内カメラ１０は、片手で取り扱うことが可能な歯ブラシ状の筺体を備え、その筺体は、歯列撮影時にユーザの口腔内に配置されるヘッド部１０ａと、ユーザが把持するハンドル部１０ｂと、ヘッド部１０ａとハンドル部１０ｂとを接続するネック部１０ｃとを含んでいる。
【0033】
撮影光学系１２は、ヘッド部１０ａとネック部１０ｃとに組み込まれている。撮影光学系１２は、その光軸ＬＡ上に配置された撮像素子１４とレンズとを含んでいる（図１には図示せず）。
【0034】
撮像素子１４は、例えばＣ－ＭＯＳセンサまたはＣＣＤ素子などの撮影デバイスであって、レンズによって歯牙の像が結像される。その結像した像に対応する信号（画像データ）を、撮像素子１４は外部に出力する。
【0035】
また、口腔内カメラ１０は、撮影時に撮影対象の歯牙に対して光を照射する照明デバイスとして、複数の第１～第４のＬＥＤ２６Ａ～２６Ｄを搭載している。第１～第４のＬＥＤ２６Ａ～２６Ｄは、例えば白色ＬＥＤである。
【0036】
図２は、本実施の形態に係る口腔内カメラシステムの概略的構成図である。図２に示すように、本実施の形態に係る口腔内カメラシステムは、概略的には、口腔内カメラ１０を用いて歯列を撮影し、その撮影画像に対して画像処理を実行するように構成されている。
【0037】
図２に示すように、口腔内カメラシステムは、口腔内カメラ１０と、携帯端末７０と、クラウドサーバ８０とを含んでいる。携帯端末７０は、例えば、無線通信可能なスマートフォン又はタブレット端末等である。携帯端末７０は、入力デバイス及び出力デバイスとして、例えば歯列画像を表示可能なタッチスクリーン７２を備える。携帯端末７０は、口腔内カメラシステムのユーザインタフェースとして機能する。
【0038】
クラウドサーバ８０は、携帯端末７０に対してインターネットなどを介して通信可能なサーバであって、携帯端末７０に口腔内カメラ１０を使用するためのアプリケーションを提供する。例えば、ユーザがアプリケーションをクラウドサーバ８０からダウンロードして携帯端末７０にインストールする。また、クラウドサーバ８０は、口腔内カメラ１０によって撮影された歯列画像を携帯端末７０を介して取得する。
【0039】
口腔内カメラシステムは、システムの制御を行う主要部分として中央制御部５０と、撮像素子１４からの歯列画像を画像処理する画像処理部５２と、複数のＬＥＤ２６Ａ～２６Ｄを制御するＬＥＤ制御部５４と、構図調節機構のアクチュエータ３６と焦点調節機構のアクチュエータ４０を制御するレンズドライバ５６と、位置センサ９０とを含んでいる。
【0040】
また、口腔内カメラシステムは、携帯端末７０と無線通信を行う無線通信モジュール５８と、中央制御部５０などに電力供給を行う電源制御部６０とを有する。
【0041】
口腔内カメラシステムの中央制御部５０は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載されている。例えば、また、中央制御部５０は、後述する様々な処理を実行するＣＰＵやＭＰＵなどのコントローラ６２と、コントローラ６２に様々な処理を実行させるためのプログラムを記憶するＲＡＭやＲＯＭなどのメモリ６４とを含んでいる。なお、メモリ６４には、プログラム以外に、撮像素子１４によって撮影された歯列画像（画像データ）や種々の設定データなどが記憶される。
【0042】
画像処理部５２は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０のコントローラ６２からの制御信号に基づいて、撮像素子１４が撮影した歯列画像（画像データ）を取得し、その取得した歯列画像に対して画像処理を実行し、その画像処理後の歯列画像を中央制御部５０に出力する。画像処理部５２は、例えば回路で構成され、例えば歯列画像に対してノイズ除去、ＡＷＢ（Ａｕｔｏｍａｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理などの画像処理を実行する。画像処理部５２から出力された歯列画像を、コントローラ６２は、無線通信モジュール５８を介して携帯端末７０に送信する。携帯端末７０は、その送信された歯列画像をタッチスクリーン７２に表示し、それによりユーザに歯列画像を提示する。
【0043】
ＬＥＤ制御部５４は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、コントローラ６２からの制御信号に基づいて、第１～第４のＬＥＤ２６Ａ～２６Ｄの点灯および消灯を実行する。ＬＥＤ制御部５４は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して口腔内カメラ１０を起動させる操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介してコントローラ６２に送信される。コントローラ６２は、受信した信号に基づいて、第１～第４のＬＥＤ２６Ａ～２６Ｄを点灯させるようにＬＥＤ制御部５４に制御信号を送信する。
【0044】
レンズドライバ５６は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０のコントローラ６２からの制御信号に基づいて、構図調節機構のアクチュエータ３６と焦点調節機構のアクチュエータ４０を制御する。レンズドライバ５６は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して構図調節やピント調節に関する操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介して中央制御部５０に送信される。中央制御部５０のコントローラ６２は、受信した信号に基づいて、構図調節やピント調節を実行するようにレンズドライバ５６に制御信号を送信する。また例えば、コントローラ６２が画像処理部５２からの歯列画像に基づいて構図調節やピント調節に必要なアクチュエータ３６、４０の制御量を演算し、その演算された制御量に対応する制御信号がレンズドライバ５６に送信される。
【0045】
無線通信モジュール５８は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、コントローラ６２からの制御信号に基づいて、携帯端末７０と無線通信を行う。無線通信モジュール５８は、例えばＷｉＦｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの既存の通信規格に準拠した無線通信を携帯端末７０との間で実行する。無線通信モジュール５８を介して、口腔内カメラ１０から歯牙Ｄが写る歯列画像が携帯端末７０に送信されたり、携帯端末７０から口腔内カメラ１０に操作信号が送信される。
【0046】
電源制御部６０は、本実施の形態の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０、画像処理部５２、ＬＥＤ制御部５４、レンズドライバ５６、および無線通信モジュール５８に、電池６６の電力を分配する。電源制御部６０は、例えば回路で構成される。なお、本実施の形態の場合、電池６６は、充電可能な二次電池であって、口腔内カメラ１０に搭載されたコイル６８を介して、商用電源に接続された外部の充電器６９によってワイヤレス充電される。
【0047】
位置センサ９０は、口腔内カメラ１０の姿勢及び位置を検出するためのセンサであり、例えば、多軸（ここではｘ，ｙ，ｚの三軸）の加速度センサである。例えば、位置センサ９０は、三軸の加速度センサと三軸のジャイロセンサとを有する六軸センサであってもよい。例えば、図１に示すように、ｚ軸は光軸ＬＡに一致する。ｙ軸は、撮像面と平行であり、かつ口腔内カメラ１０の長手方向に延びる。また、ｘ軸は、撮像面と平行であり、ｙ軸と直交する。位置センサ９０の各軸の出力（センサデータ）は、中央制御部５０及び無線通信モジュール５８を介して、携帯端末７０に送信される。
【0048】
位置センサ９０としては、ピエゾ抵抗タイプ、静電容量タイプ、もしくは熱検知タイプのＭＥＭＳセンサが用いられてもよい。また特に図示しないが、各軸のセンサの感度のバランス、感度の温度特性、温度ドリフトなどを補正するための補正回路を設けるとよい。また、動加速度成分やノイズを除去するためのバンドパスフィルタ（ローパスフィルタ）を設けてもよい。また、加速度センサの出力波形を平滑化することによりノイズを低減してもよい。
【0049】
次に、口腔内カメラシステムにおける口腔内撮影動作について説明する。図３は、口腔内カメラシステムにおける口腔内撮影動作の流れを示す図である。
【0050】
ユーザが口腔内カメラ１０を用いて、自身の口腔内の歯牙及び歯茎を撮影することで画像データが生成される（Ｓ１０１）。次に、口腔内カメラ１０は、撮影された画像データと、撮影時において位置センサ９０で得られたセンサデータとを携帯端末７０に送信する（Ｓ１０２）。なお、ここで、画像データは、動画であってもよいし、１又は複数の静止画であってもよい。また、画像データが動画又は複数の静止画である場合には、動画のフレーム毎、又は静止画毎に、センサデータが送信される。なお、画像データが動画である場合において複数フレーム毎にセンサデータが送信されてもよい。
【0051】
また、画像データ及びセンサデータの送信は、リアルタイムで行われてもよいし、一連の撮影（例えば口腔内の全ての歯牙の撮影）が行われた後にまとめて送信されてもよい。
【0052】
携帯端末７０は、クラウドサーバ８０から参照データを取得し（Ｓ１０３）、受信した画像データ及びセンサデータと、取得した参照データとを用いて、画像データに含まれる複数の歯牙の各々の種別及び位置を識別する（Ｓ１０４）。
【0053】
図４は、口腔内の歯牙を示す図である。携帯端末７０で識別される歯牙の種類とは、例えば、図４に示す中切歯、側切歯、犬歯等であり、携帯端末７０で識別される歯牙の位置とは、上顎、下顎、右側、左側等である。つまり、歯牙の種別及び位置を識別するとは、対象の歯牙が図４に示す複数の歯牙のいずれであるかを識別することである。
【0054】
また、携帯端末７０は、例えば、識別した歯牙の種別及び位置を用いて、撮影された画像データから、口腔内の複数の歯牙の三次元モデルを生成し、生成された三次元モデルに基づく画像を表示してもよい。
【0055】
このような、口腔内カメラシステムを用いることで、ユーザは、口腔内カメラ１０でユーザ自身の口腔内の画像を撮影し、携帯端末７０に表示された口腔内の状態を確認できる。これにより、ユーザは自身の歯牙の健康状態の確認などを容易に行うことができる。
【0056】
なお、ここでは、携帯端末７０が歯牙の種類等の識別を行う例を述べるが、携帯端末７０が行う処理の一部又は全てを口腔内カメラ１０又はクラウドサーバ８０が行ってもよい。
【0057】
図５は、携帯端末７０の機能ブロック図である。携帯端末７０は、領域検出部１０１と、ユーザ情報取得部１０２と、識別部１０３とを備える。これらの各処理部の機能は、例えば、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現される。
【0058】
領域検出部１０１は、センサデータを用いて、各画像データに対応する口腔内の領域を検出し、検出した領域を示す領域情報を生成する。
【0059】
ユーザ情報取得部１０２は、ユーザ属性を示すユーザ情報を取得する。例えば、ユーザ情報取得部１０２は、携帯端末７０のユーザインタフェースを介してユーザにより入力されたユーザ情報を取得する。または、ユーザ情報取得部１０２は、携帯端末７０又は他の装置（例えばクラウドサーバ８０）に保存されているユーザ情報を取得してもよい。具体的には、ユーザ情報は、ユーザの性別、年齢層（又は年齢）及び人種の少なくとも一つを示す。
【0060】
識別部１０３は、画像データ、領域情報、ユーザ情報、及び参照データを用いて画像データに含まれる各歯牙の種別及び位置を識別する。識別部１０３は、歯牙画像生成部１０４と、種別識別部１０５とを含む。画像データから、各々が一つの歯牙を示す歯牙画像を生成する。種別識別部１０５は、領域情報、ユーザ情報、参照データ及び推定モデル１０６を用いて歯牙画像に含まれる歯牙の種別及び位置を識別する。
【0061】
推定モデル１０６は、歯牙画像と参照データとから歯牙画像に含まれる歯牙の種別及び位置を推定するためのモデルである。例えば、推定モデル１０６は、ニューラルネットワークを含んでもよい。
【0062】
次に、領域検出部１０１で検出される領域の例を説明する。図６は、この口腔内の領域の例を示す図である。同図では、例えば、口腔内の複数の歯牙が、上顎左、上顎前、上顎右、下顎左、下顎前、下顎右の６つの領域に分割される。なお、ここでは、６つの領域に分割される例を示すが、領域の数は任意でよい。また、上顎と下顎との２つの領域に分割されてもよい。また、各領域は、撮影方向によりさらに分割されてもよい。例えば、図６に示すように、各領域は、頬側と舌側とに２つの撮影方向に分割されてもよい。また、ここでは、各歯牙が、複数の領域に重複して属さない例を示したが、一部の歯牙が２以上の領域に属してもよい。例えば、隣接する２つの領域の境界付近の歯牙は、当該２つの領域の両方に属してもよい。例えば、図６において上顎前の左端の３番の犬歯は、上顎前と上顎左の両方に属してもよい。
【0063】
以下、センサデータからこの領域及び撮影方向を判定する方法の具体例を説明する。まず領域検出部１０１は、ｚ方向の加速度センサの出力Ａｚに基づき、上顎か下顎かを判定する。ここで、上顎の歯列を撮影するときは撮像面が少なからず上向きになり、下顎の歯列を撮影するときは撮像面が少なからず下向きになる。よって、領域検出部１０１は、Ａｚ＞０の場合は画像データに対応する領域が下顎であり、Ａｚ≦０の場合は画像データに対応する領域が上顎であると判定する。
【0064】
次に、上顎と判定された場合、上顎のどの領域であるかを判定する方法を説明する。領域検出部１０１は、ｙ方向の加速度センサの出力Ａｙに基づいて前歯か否かを判定する。ここで、前歯を撮影するときは口腔内カメラ１０が比較的水平になるが、臼歯を撮影するときは唇との干渉があるため口腔内カメラ１０が斜めにならざるをえない。よって、領域検出部１０１は、Ａｙ≦閾値ａの場合は上顎前と判定する。
【0065】
さらに、領域検出部１０１は、上顎前と判定した場合、ｘ方向の加速度センサの出力Ａｘに基づいて頬側か舌側かを判定する。ここで、頬側と舌側とでは撮像面の向きが反転する。よって、領域検出部１０１は、Ａｘ＞０の場合は「上顎前頬側」と判定し、Ａｘ≦０の場合は「上顎前舌側」と判定する。
【0066】
一方、領域検出部１０１は、上顎前でないと判定した場合、ｘ方向の加速度センサの出力Ａｘに基づいて撮像面の向きを判定する。具体的には、領域検出部１０１は、Ａｘ＞０の場合は「上顎右頬側または上顎左舌側」と判定し、Ａｘ≦０の場合は「上顎左頬側または上顎右舌側」と判定する。
【0067】
さらに。そこで領域検出部１０１は、前回の処理で判定された領域に基づき、領域の絞り込みを行う。具体的には、領域検出部１０１は、上顎右頬側か上顎左舌側かを判定する場合、前回の領域が「上顎前頬側、上顎右頬側、上顎右舌側、下顎前頬側、下顎右頬側、下顎右舌側」のいずれかであれば、現在の領域は「上顎右頬側」であると推定し、前回の領域が「上顎前舌側、上顎左頬側、上顎左舌側、下顎前舌側、下顎左頬側、下顎左舌側」のいずれかであれば、現在の領域は「上顎左舌側」であると推定する。
【0068】
また、領域検出部１０１は、上顎左頬側または上顎右舌側かを判定する場合、前回の領域が「上顎前頬側、上顎左頬側、上顎左舌側、下顎前頬側、下顎左頬側、下顎左舌側」のいずれかの場合は、現在の領域が「上顎左頬側」であると推定し、前回の領域が「上顎前舌側、上顎右頬側、上顎右舌側、下顎前舌側、下顎右頬側、下顎右舌側」のいずれかであれば、現在の領域は「上顎右舌側」であると推定する。これは、撮像面の移動量や向き変更がなるべく少なくなるように撮像面の移動が行われる蓋然性が高いことを利用している。
【0069】
また、下顎に対しても同様の判定が用いられる。具体的には、領域検出部１０１は、ｙ方向の加速度センサの出力Ａｙに基づいて前歯か否かを判定する。具体的には、領域検出部１０１は、Ａｙ≦閾値ｂの場合は下顎前と判定する。
【0070】
下顎前と判定した場合、領域検出部１０１は、ｘ方向の加速度センサの出力Ａｘに基づいて頬側か舌側かを判定する。具体的には、領域検出部１０１は、Ａｘ＜０の場合は「下顎前頬側」と判定し、Ａｘ≧０の場合は「下顎前舌側」と判定する。
【0071】
一方、領域検出部１０１は、下顎前でないと判定した場合、ｘ方向の加速度センサの出力Ａｘに基づいて撮像面の向きを判定する。具体的には、領域検出部１０１は、Ａｘ＞０の場合は「下顎右頬側または下顎左舌側」と判定し、Ａｘ≦０の場合は「下顎左頬側または下顎右舌側」と判定する。
【0072】
また、領域検出部１０１は、下顎右頬側または下顎左舌側かを判定する場合、前回の領域が「下顎前頬側、下顎右頬側、下顎右舌側、下顎前頬側、上顎右頬側、上顎右舌側」のいずれかであれば、現在の領域は「下顎右頬側」であると推定し、前回の領域が「下顎前舌側、下顎左頬側、下顎左舌側、上顎前舌側、上顎左頬側、上顎左舌側」のいずれかであれば、現在の領域は「下顎左舌側」であると推定する。
【0073】
また、領域検出部１０１は、下顎左頬側または下顎右舌側かを判定する場合、前回の領域が「下顎前頬側、下顎左頬側、下顎左舌側、上顎前頬側、上顎左頬側、上顎左舌側」のいずれかの場合は、現在の領域が「下顎左頬側」であると推定し、前回の領域が「下顎前舌側、下顎右頬側、下顎右舌側、上顎前舌側、上顎右頬側、上顎右舌側」のいずれかであれば、現在の領域は「下顎右舌側」であると推定する。
【0074】
以上の処理によって、現在の領域が、「上顎前頬側」、「上顎前舌側」、「上顎右頬側」、「上顎左舌側」、「上顎左頬側」、「上顎右舌側」、「下顎前頬側」、「下顎前舌側」、「下顎右頬側」、「下顎左舌側」、「下顎左頬側」、「下顎右舌側」のいずれかに特定される。
【0075】
なお、上記判定アルゴリズムはあくまでも一例であり、加速度センサの出力Ａｘ、Ａｙ、Ａｚから領域を特定できるのであればどのような判定アルゴリズムが用いられてもよい。例えばＡｘ、Ａｙ、Ａｚの値をそのまま判定の変数として用いるのでなく、Ａｘ、Ａｙ、Ａｚを適宜組み合わせることで得られる２次変数を判定に用いてもよい。２次変数は、たとえば、Ａｙ／Ａｚ、Ａｘ・Ａｘ＋Ａｙ・Ａｙ、Ａｚ－Ａｘなど、任意に設定できる。あるいは、各軸の加速度情報Ａｘ、Ａｙ、Ａｚを、角度情報（姿勢角）α、β、γに変換した後で、領域を判定してもよい。例えば、重力加速度方向に対するｘ軸の角度をロール角α、重力加速度方向に対するｙ軸の角度をピッチ角β、重力加速度方向に対するｚ軸の角度をヨー角γのように定義してもよい。また、各判定に用いる閾値は臨床実験等の結果から決定することができる。
【0076】
また、上記説明では、撮影方向として頬側と舌側との２方向を判定しているが、さらに、歯冠側を含む３方向を判定してもよい。例えば、歯冠側の撮影時には、頬側及び舌側の撮影時よりも撮像面がより水平になることを利用して、撮影方向が歯冠側であるかを判定できる。
【0077】
また、上記では、位置センサ９０が有する三軸の加速度センサを用いて撮影部２１の領域及び撮影方向を判定する例を説明したが、三軸のジャイロセンサを用いて撮影対象の領域及び撮影方向を判定してもよい。三軸のジャイロセンサは、例えば、それぞれｘ軸周りの移動による角度の変化量、ｙ軸周りの移動による角度の変化量、及びｚ軸周りの移動による角度の変化量を出力する。すなわち、三軸のジャイロセンサの場合には、ｘ軸、ｙ軸及びｚ軸の初期状態を任意に設定した状態で、それぞれの軸の変化量を加算していき、撮影対象の領域及び口腔内カメラ１０の撮像面の向き（撮影方向）を判定する。
【0078】
なお、三軸の加速度センサと三軸のジャイロセンサとを両方組合せることで、撮影対象の領域及び口腔内カメラ１０の撮像面の向きを判定してもよい。
【0079】
次に、識別部１０３の動作の詳細を説明する。なお、以下では、１つの画像データ（動画像に含まれる１フレーム、又は１枚の静止画）に対する処理を説明する。
【0080】
まず、歯牙画像生成部１０４は、画像データから、各々が一つの歯牙を示す歯牙画像を生成する。具体的には、歯牙画像生成部１０４は、画像データから、画像解析等により歯間位置を検出し、検出された歯間位置を用いて歯牙画像を抽出する。例えば、歯牙画像生成部１０４は、歯間位置を境界として用いて画像を抽出することで歯牙画像を生成する。
【0081】
次に、種別識別部１０５は、領域情報、ユーザ情報、参照データ及び推定モデル１０６を用いて歯牙画像に含まれる歯牙の種別及び位置を識別する。
【0082】
参照データは、歯牙画像に含まれる歯牙の種別及び位置を識別する際に、参照されるデータである。例えば、参照データは、種別及び位置が既知の歯牙のデータである。具体的には、参照データは、予め撮影した歯牙の画像データ群であってもよいし、歯牙列の画像データ群であってもよいし、歯列のパノラマ画像であってもよい。または、参照データは、標準的な各歯の形状又は特徴量を示す情報であってもよい。
【0083】
なお、参照データは、種別及び位置に加え、撮影方向毎、及びユーザ属性毎に、分類されていてもよい。なお、ユーザ属性は、ユーザの性別、年齢層（又は年齢）及び人種の一つ、又は２以上の組み合わせである。つまり、ユーザの性別、年齢層及び人種に応じてユーザ属性が一意に決定される。
【0084】
図７は、参照データの分類の例を示す図である。なお同図では、階層的に参照データの分類を示しているが、必ずしも階層的に分類を行う必要はない。また、識別に用いられる参照データをＡ（ｎ）と表す。また、ｎは歯牙の種別、位置及び撮影方向の組に一意に対応付けられている。図８は、参照データの例を示す図である。一例として上顎の切歯、犬歯及び第１大臼歯のそれぞれについて、頬側、舌側及び歯冠側の参照データを示す。
【0085】
図８に示すように、歯牙はその種類によって形状および大きさが異なる。例えば、上顎の中切歯は以下の特徴を有する。頬側の外形は一般的に縦長の台形であり、切縁はほぼ直線である。歯頸線は歯根に向けて凸弯し、近心縁及び遠心縁は軽度に弯曲している。近心縁の弯曲頂は近心切縁隅角部付近である。遠心縁の弯曲頂は切縁側の１／３の高さである。舌側の外形は三角形であり、近心及び遠心辺縁隆線と舌面歯頸隆線とにより周縁隆線をつくり、舌側窩を形成する。
【0086】
また、上顎の犬歯は以下の特徴を有する。頬側の外形は一般的に五角形であり、切縁は中央が突出して尖頭を形成する。歯頸線は歯根に向けて凸弯である。近心縁は直線かやや外側に凸弯し、遠心縁は直線かやや凹弯する。舌側の外形は菱形であり、近心及び遠心辺縁隆線と舌面歯頸隆線とにより周縁隆線をつくる。
【0087】
また、上顎の第１大臼歯は以下の特徴を有する。頬側の外形は一般的に台形であり、近遠心縁はほぼ直線である。歯頸線は水平及び中央部で分岐部に凸となる。また接触点は近心で咬合面側の１／３の高さであり、遠心で１／２の高さとなる。舌側の外形は台形で、舌側面溝がほぼ中央を縦走する。歯冠側は平行四辺形の外形で、頬舌径が近遠心径より大きい。
【0088】
また、処理対象の歯牙画像をＢ（ｍ）と表す。よって、処理対象の歯牙画像に両隣する歯牙の歯牙画像はＢ（ｍ－１）、Ｂ（ｍ＋１）で表される。
【0089】
また、領域検出部１０１で検出された、処理対象の歯牙画像（Ｂ（ｍ））に対応する領域情報をＣ（ｍ）と表す。例えば、画像データ毎に領域情報が生成される。よって、一つの画像データに複数の歯牙が含まれており、複数の歯牙画像が生成された場合には、当該複数の歯牙画像に対して、当該一つの画像データに対応する同一の領域情報が対応付けられる。
【0090】
図９は、種別識別部１０５による種別識別処理のフローチャートである。まず、種別識別部１０５は、初期化を行う（Ｓ１１１）。具体的には、種別識別部１０５は、ｎを０に設定し、ＥｒｒをＥｒｒ＿Ｍａｘに設定し、Ｎを０に設定する。ここで、Ｅｒｒは、後述する評価値であり、Ｅｒｒの値が小さいほど評価が高いことを意味する。また、Ｅｒｒ＿Ｍａｘは、Ｅｒｒが理論上とりうる最大値である。また、Ｎは、最小のＥｒｒのｎの値を示す。
【0091】
次に、種別識別部１０５は、ユーザ情報及び領域情報に基づき、使用する参照データを選択する（Ｓ１１２）。具体的には、種別識別部１０５は、ユーザ情報で示されるユーザ属性が割り当てられており、かつ、領域情報で示される領域に対応する歯牙の種別、位置及び撮影方向に割り当てられている参照データを選択する。例えば、領域情報で示される領域が上顎左舌側であれば、上顎左に含まれる５つの歯牙の舌側の計５つの参照データが使用する参照データとして選択される。また、選択された参照データの数に応じて、ｎの最大値であるｎ＿ｍａｘが設定される。例えば、参照データの数が５であれば、この５つの参照データにｎ＝０～４が割り当てられ、ｎ＿ｍａｘは４に設定される。
【0092】
次に、種別識別部１０５は、歯牙画像Ｂ（ｍ）と、参照データ（Ａ（ｎ））とからＥｒｒ（ｎ）を算出する（Ｓ１１３）。例えば、種別識別部１０５は、Ｅｒｒ（ｎ）＝ｆ（Ａ（ｎ））－ｆ（Ｂ（ｍ））を用いて、Ｅｒｒ（ｎ）を算出する。ここで、ｆ（Ａ（ｎ））及びｆ（Ｂ（ｍ））は、Ａ（ｎ）及びＢ（ｍ）を関数ｆ（）に投じた値である。関数ｆ（）は、Ａ（ｎ）及びＢ（ｍ）の特徴量を抽出する関数である。なお、ｆ（）はスカラでなくベクトルであらわされる場合もある。
【0093】
図８に示したように各歯牙は、形状および大きさがその種類に応じて特徴的である。種別識別部１０５は、これらの特徴的な形状および大きさを、上述した関数ｆにより特徴量として抽出する。
【0094】
図１０を用いて関数ｆによって抽出される特徴量について説明する。図１０は上顎右側領域の第１大臼歯を歯冠側から撮影した画像を示す図である。第一大臼歯の咬合面は平行四辺形に近い形状であり、近遠心の頬側咬頭頂と舌側咬頭頂とのそれぞれを結んだ直線ＡＢと直線ＤＣとは平行に近い関係であり、直線ＡＤと直線ＢＣは平行に近い関係である。また、咬頭頂間の距離もそれぞれは略等しい（ＡＢ＝ＤＣ、ＡＤ＝ＢＣ）。一例として。上記した２つの咬頭間距離を特徴量とすることができる。
【0095】
また、Ｅｒｒ（ｎ）は、ｆ（Ａ（ｎ））とｆ（Ｂ（ｍ））との差分（ベクトルの場合は距離）を示す値である。つまり、Ｂ（ｍ）がＡ（ｎ）と近いほど、「ｆ１（Ａ（ｎ））－ｆ１（Ｂ（ｍ））」は小さくなり、ｎ＝ｍのときにＥｒｒ（ｎ）は極小値を取る。
【0096】
種別識別部１０５は、算出されたＥｒｒ（ｎ）がＥｒｒより小さい場合、ＥｒｒをＥｒｒ（ｎ）に設定し、Ｎをｎに設定する（Ｓ１１４）。
【0097】
ｎ＝ｎ＿ｍａｘでない場合（Ｓ１１５でＮｏ）、種別識別部１０５は、ｎを１インクリメントし（Ｓ１１６）、再度ステップＳ１１３以降の処理を行う。つまり、使用する全ての参照データに対して、ステップＳ１１３及びＳ１１４が行われる。
【0098】
ｎ=ｎ＿ｍａｘである場合（Ｓ１１５でＹｅｓ）、種別識別部１０５は、Ｎに対応する種別、位置及び撮影方向を、歯牙画像に含まれる歯牙の種別、位置及び撮影方向として出力する（Ｓ１１７）。
【0099】
上記の処理により、種別識別部１０５は、歯牙画像の種別、位置及び撮影方向を識別できる。また、ステップＳ１１２において、ユーザ情報及び領域情報により、歯牙の種別、位置及び撮影方向の候補を削減できる。よって、処理量を低減できるとともに、識別精度を向上できる。
【0100】
図１１は、種別識別部１０５による種別識別処理の別の例を示すフローチャートである。図１１に示す処理は、図９に示す処理に対して、ステップＳ１１２がステップＳ１１２Ａに変更されており、ステップＳ１１８が追加されている。
【0101】
ステップＳ１１２Ａでは、種別識別部１０５は、ユーザ情報に基づき、使用する参照データを選択する。具体的には、種別識別部１０５は、ユーザ情報で示されるユーザ属性が割り当てられている参照データを選択する。
【0102】
ステップＳ１１８では、種別識別部１０５は、領域情報に基づき、ステップＳ１１３で算出したＥｒｒ（ｎ）に、重み付けを行う。具体的には、種別識別部１０５は、Ｅｒｒ（ｎ）に、領域情報に応じたｗを乗算する。例えば、領域情報で示される領域に、ｎに対応する歯牙が含まれる場合には、Ｅｒｒ（ｎ）にｗ０が乗算される。また、領域情報で示される領域に、ｎに対応する歯牙が含まれない場合には、Ｅｒｒ（ｎ）にｗ０より大きいｗ１が乗算される。これにより、領域情報に示される領域に含まれる歯牙のＥｒｒが小さくなるため、歯牙画像に含まれる歯牙が、当該領域に含まれる歯牙と判定されやすくなる。
【0103】
また、重み付けは領域に含まれるか否かの２段階でなくてもよい。例えば、領域情報で示される領域からの距離に応じて重みが設定されてもよい。例えば、領域情報で示される領域に近い位置の歯牙の重みは、当該領域から離れた位置の歯牙の重みより小さく設定されてもよい。
【0104】
また、ユーザ情報を参照データの選択に用いるのではなく、領域情報と同様にＥｒｒ（ｎ）の重み付けに用いてもよい。
【0105】
また、図９で述べたように領域情報に基づく参照データの選択と、図１１で述べた重み付けとを組みわせてもよい。例えば、領域情報で示される領域から離れた位置の歯牙は、対象から除外し、当該領域に近い位置の歯牙に対しては重みを用いてもよい。
【0106】
また、ユーザが定期的に口腔内撮影を行っている場合など、当該ユーザの歯牙画像が過去に得られている場合には、当該歯牙画像が参照データとして用いられてもよい。この場合、上記のユーザ情報に基づく参照データの選択は行われず、領域情報に基づく処理のみが行われる。
【0107】
また、上記では、処理対象の歯牙画像と参照データとの比較を行っているが、処理対象の歯牙を含む歯牙列に対応する複数の歯牙画像と、複数の参照データとの比較が行われてもよい。
【0108】
例えば、種別識別部１０５は、Ｅｒｒ（ｎ）＝ｆ（Ａ（ｎ））－ｆ（Ｂ（ｍ））＋ｆ’（Ａ（ｎ－１））－ｆ’（Ｂ（ｍ－１））＋ｆ’（Ａ（ｎ＋１））－ｆ’（Ｂ（ｍ＋１））により、Ｅｒｒ（ｎ）を算出してもよい。ここで、Ａ（ｎ－１）及びＡ（ｎ＋１）は、Ａ（ｎ）の歯牙に隣接する歯牙の参照データであり、Ｂ（ｍ－１）及びＢ（ｍ＋１）は、Ｂ（ｍ）の歯牙に隣接する歯牙の歯牙画像である。また、ｆ’（）は、注目すべき歯の両隣の歯を評価するための特徴量を抽出する関数である。このように、隣接する歯牙の情報も用いることで識別精度を向上できる。
【0109】
また、上記では、参照データとして歯牙の画像が用いられる例を述べたが、特徴量（つまり、上記のｆ（Ａ（ｎ））の値）が参照データとして用いられてもよい。
【0110】
また、種別識別部１０５が識別に使用する推定モデル１０６は、ニューラルネットワーク等の学習済みモデルを含んでもよい。例えば、上述した関数ｆ又はｆ’が学習済みモデルであってもよい。また、ニューラルネットワークを用いる手法は、これに限らず、例えば、種別推定を行う推定モデル１０６の全体外がニューラルネットワークで構成されてもよい。この場合、例えば、ユーザ属性毎に推定モデル１０６が設けられてもよい。各推定モデル１０６は、対応するユーザ属性の、歯牙画像と、領域情報と、歯牙の種別、位置及び撮影方向との組複数を教師データ（学習データ）として用いた機械学習により生成された学習済みモデルである。推定モデル１０６は、歯牙画像と、領域情報とを入力として、歯牙の種別、位置及び撮影方向を出力する。この場合、種別識別部１０５は、ユーザ情報を用いて対応する推定モデル１０６を選択し、選択した推定モデル１０６に歯牙画像と領域情報とを入力することで歯牙の種別、位置及び撮影方向を取得する。
【0111】
または、推定モデル１０６は、ユーザ属性と領域情報との組毎に設けられてもよい。この場合、各推定モデル１０６は、対応するユーザ属性かつ領域情報の、歯牙画像と、歯牙の種別、位置及び撮影方向との組複数を教師データとして用いた機械学習により生成された学習済みモデルである。また、推定モデル１０６は、歯牙画像を入力として、歯牙の種別、位置及び撮影方向を出力する。この場合、種別識別部１０５は、ユーザ情報及び領域情報を用いて対応する推定モデル１０６を選択し、選択した推定モデル１０６に歯牙画像を入力することで歯牙の種別、位置及び撮影方向を取得する。
【0112】
なお、上記説明では、ユーザ情報と領域情報との両方が用いられる例を述べたが、いずれか一方のみが用いられてもよい。
【0113】
また、上記説明では、領域情報は、領域と撮影方向とを示す例を述べたが、いずれか一方のみを示してもよい。
【0114】
次に、ユーザが齲歯の治療などにより一部の歯牙（例えば「上顎左側の第２小臼歯」）が抜けている場合に、口腔内カメラシステムにおける識別部１０３が行う動作の詳細を説明する。なお、以下では、１つの画像データ（動画像に含まれる１フレーム、又は１枚の静止画）に対する処理を説明する。図１２は、上顎左の第２小臼歯が抜けているユーザの口腔内の状態を示す図である。
【0115】
領域検出部１０１は、口腔内カメラ１０が第２小臼歯が含まれる「上顎左側」の領域を撮影していることを特定する。そして、口腔内カメラ１０が第２小臼歯に対応する部位の画像Ｂ（ｍ’）を撮影し、画像解析等により歯牙が存在しないことを検出する。
【0116】
次に、種別識別部１０５は、歯牙画像Ｂ（ｍ’－１）、Ｂ（ｍ’＋１）と、参照データ（Ａ（ｎ））とからＥｒｒ（ｎ）を算出し、歯牙画像Ｂ（ｍ’－１）、Ｂ（ｍ’＋１）の歯牙の種類と位置を特定し、Ｂ（ｍ’）が上顎左側の第１小臼歯と第１大臼歯に挟まれた領域の画像であることを特定し、第２小臼歯が抜けていると判定し、判定結果を出力する。
【0117】
なお、第３大臼歯が抜けている場合には、隣り合う第２大臼歯を特定することで第３大臼歯が抜けていることを判定できる。
【0118】
また、ユーザが定期的に口腔内撮影を行っている場合など、当該ユーザの歯牙画像が過去に得られている場合には、当該歯牙画像が参照データとして用いられてよい。この場合、過去の口腔内撮影の結果からユーザの抜けた歯牙の情報を得ることができる。
【0119】
（変形例）
上述した口腔内カメラ１０の姿勢に基づく歯牙の領域及び撮影方向等の判定（領域情報の生成）は、ユーザが直立した状態又は椅子に座った状態等のユーザが前を向いている状態を想定している。一方で、歯科医等が患者の歯牙を撮影する場合には、ユーザ（患者）が仰向けになっている状態で撮影が行われる場合がある。このような場合には、鉛直軸と歯牙との関係がユーザが前を向いている状態と異なるため正しく判定を行うことができない可能性がある。以下では、このような場合にも正しく判定を行うことができる方法を説明する。
上述した口腔内カメラ１０の姿勢に基づく歯牙の領域及び撮影方向等の判定（領域情報の生成）は、ユーザが直立した状態又は椅子に座った状態等のユーザが前を向いている状態を想定している。一方で、歯科医等が患者の歯牙を撮影する場合には、ユーザ（患者）が仰向けになっている状態で撮影が行われる場合がある。このような場合には、鉛直軸と歯牙との関係がユーザが前を向いている状態と異なるため正しく判定を行うことができない可能性がある。以下では、このような場合にも正しく判定を行うことができる方法を説明する。
【0120】
図１３は、起立した状態のユーザＢＤに対する射影面の関係を示す図である。ここで、射影面は、ユーザＢＤを基準とした仮想の平面であり、前額面１１０、矢状面１１１、水平面１１２の３つからなる。前額面１１０は、ユーザＢＤの身体を前後に二分し、かつ床面に垂直な面である。矢状面１１１は、ユーザＢＤの身体を前から後ろに通り、ユーザＢＤの身体を左右に二分し、かつ床面と垂直な面である。水平面１１２は、床面と平行な面であり、ユーザＢＤの身体を上下に二分する面であり、前額面１１０および矢状面１１１の双方に垂直な面である。
【0121】
また、運動軸は垂直軸、矢状－水平軸、前額－水平軸に分けられる。図１３に示すｘ軸は「前額‐水平軸」である。矢状－水平軸は、左右方向の軸であり、矢状面１１１での前後屈、及び屈曲伸展等の運動の回転軸である。図１３に示すｙ軸は「矢状‐水平軸」である。矢状‐水平軸は、前後方向の軸であり、前額面１１０での側屈、及び内外転等の運動の回転軸である。図１３に示すｚ軸は「垂直軸」である。垂直軸は、垂直方向の軸であり、水平面１１２での回旋等の運動の回転軸である。
【0122】
【0123】
図１４に示すように、ユーザＢＤが口腔内カメラ１０を直立した状態または椅子に座った姿勢で使用する場合、ユーザは起立した状態と見做すことができる。このとき、ユーザＢＤの身体の垂直軸Ｚ０（ｚ軸）は床面に対して垂直であり、ユーザＢＤの身体の垂直軸Ｚ０と重力加速度の作用方向は一致している。
【0124】
一方、図１５に示すように、例えば、ユーザＢＤが歯科治療台に載った状態で歯科医が口腔内カメラ１０を使用する場合、ユーザＢＤの身体の上半身の前額面１１０は、治療台の背凭れに沿って傾く。すなわち、ユーザＢＤの前額面１１０が傾斜したことで、ユーザＢＤが直立した状態での身体の垂直軸Ｚ０に対して、背凭れに沿って上半身を傾けた状態のユーザの垂直軸Ｚ１は傾くことになる。
【0125】
図１６は、このようにユーザＢＤの姿勢が変化する場合の領域検出部１０１における領域検出処理のフローチャートである。まず、領域検出部１０１は、口腔内カメラ１０の初期姿勢を取得し、保持する（Ｓ２３１）。具体的には、ユーザの操作に基づき、ユーザの操作が行われた状態における口腔内カメラ１０の姿勢が初期姿勢として取得される。例えば、携帯端末７０に対するユーザの操作に基づき初期姿勢が取得される。または、口腔内カメラ１０に設けられたボタン等が押下されることで初期姿勢が取得される。図１７は、初期姿勢の例を示す図である。例えば、図１７に示すように、六軸センサである位置センサ９０で得られた、鉛直方向ＬＶを基準とした三軸の姿勢情報が初期姿勢として取得される。この初期姿勢は、携帯端末７０又は口腔内カメラ１０に保持される。
【0126】
図１８は、携帯端末７０における初期姿勢の設定画面の一例を示す図である。図１８に示すように、例えば、初期姿勢として、歯牙と口腔内カメラ１０との関係が予め定められた関係となってる状態における口腔内カメラ１０の姿勢が取得される。図１８に示す例では、初期姿勢は、口腔内カメラ１０の撮像面Ｓが前歯の前面と平行となり、かつ、撮像面Ｓにおける平面視において口腔内カメラ１０の軸方向が前歯の高さ方向と一致する状態である。ここで軸方向とは、口腔内カメラ１０において、口腔内カメラ１０の長手方向の中心を通り、ハンドル部１０ｂからヘッド部１０ａへ向かう方向である。また、例えば、撮像面Ｓ（画像データ）の垂直方向（列方向）の中心を通る方向である。
【0127】
なお、初期姿勢が取得される状態は、この例に限定されず、いずれか１以上歯牙を基準とした任意の状態でよい。例えば、前歯以外の歯牙が用いられてもよい。また、ここでは、「口腔内カメラ１０の軸方向が前歯の高さ（縦）方向と一致する状態」が指定されているが、「口腔内カメラ１０の軸方向が前歯の高さ方向とが直交する状態（口腔内カメラ１０の軸方向が前歯の幅（横）方向とが一致する状態）」が用いられてもよい。
【0128】
また、ここの述べる平行、一致、及び直交とは、厳密なものである必要はなく、略平行、略一致、及び略直交であってもよい。言い換えると、携帯端末７０は上記の状態をとるようにユーザに指示し、初期姿勢に用いられる状態は、当該指示に基づきユーザがとった口腔内カメラ１０の姿勢であってもよい。
【0129】
図１９は、携帯端末７０における初期姿勢の設定画面の別の例を示す図である。図１９に示すように、例えば、初期姿勢として、ユーザの姿勢と口腔内カメラ１０の姿勢との関係が予め定められた関係となってる状態における口腔内カメラ１０の姿勢が取得される。図１９に示す例では、初期姿勢は、ユーザＢＤの前額面１１０と撮影部の撮像面Ｓとが平行であり、かつ、撮像面Ｓにおける平面視においてユーザＢＤの垂直軸Ｚ１と第２方向ＬＢとが一致する状態である。
【0130】
なお、初期姿勢が取得される状態は、この例に限定されず、ユーザＢＤの姿勢と口腔内カメラ１０の姿勢とを対応付け可能な任意の姿勢であってもよい。また、ユーザＢＤの姿勢は、前額面１１０、矢状面１１１、水平面１１２、垂直軸、矢状－水平軸、及び、前額－水平軸のうちの１つ又は複数を用いて定義されてもよい。例えば、ここでは、「口腔内カメラ１０の軸方向ＬＢが垂直軸Ｚ１と一致する状態」が指定されているが、「口腔内カメラ１０の軸方向ＬＢが垂直軸Ｚ１とが直交する状態（軸方向ＬＢが前額‐水平軸とが一致する状態）」が用いられてもよい。
【0131】
次に、上述した歯牙の撮影が行われる。具体的には、領域検出部１０１は、歯牙の撮影中に得られた口腔内カメラ１０の姿勢を、初期姿勢を用いて補正する（Ｓ２３２）。つまり、領域検出部１０１は、初期姿勢を用いて、口腔内カメラ１０の姿勢がユーザが前を向いている状態と同じになるように口腔内カメラ１０の姿勢を補正する。
【0132】
図２０は、初期姿勢の例を示す図である。図２１は、姿勢の補正の例を示す図である。なお、ここではｙ軸の情報を補正する例を示すが、他の軸の情報を補正する場合も同様である。図２０に示すように初期姿勢として鉛直方向ＬＶとｙ軸との角度δが得られた場合、領域検出部１０１は、図２１に示すように、鉛直方向ＬＶを鉛直方向ＬＶ０に補正する。また、鉛直方向ＬＶの代わりに補正後の鉛直方向ＬＶ０を用いて、撮影方向の判定処理等を行う。例えば、図２１に示すように鉛直方向ＬＶと撮像面Ｓ（ｙ軸）との角度αとして、補正後の鉛直方向ＬＶ０と撮像面Ｓとの角度が算出される。
【0133】
なお、領域検出部１０１は、鉛直方向ＬＶを補正するのではなく、位置センサ９０で得られた姿勢そのものを補正してもよいし、演算中の値（判定にも用いる角度等）を補正してもよい。また、この補正処理の一部又は全ては、領域検出部１０１（携帯端末７０）で行われてもよいし、口腔内カメラ１０内で行われてもよい。
【0134】
最後に、領域検出部１０１は、補正後の姿勢に基づき、上述した、歯牙の領域及び撮影方向等の判定（領域情報の生成）を行う（Ｓ２３３）。
【0135】
以上により、領域検出部１０１は、ユーザの姿勢に応じて口腔内カメラ１０の姿勢を補正することで、判定の精度を向上できる。
【0136】
以上のように、口腔内カメラシステムは、ユーザの口腔内の歯牙を撮影することで画像データを生成する撮影部（例えば口腔内カメラ１０）と、多軸加速度センサ（例えば位置センサ９０）の出力に基づき撮影部の姿勢を検出し、検出した姿勢に基づき、歯列を区分することで定義される口腔内の複数の領域のうち撮影部が撮影している領域を検出する領域検出部１０１と、画像データと、検出された領域とに基づき、歯牙の種類及び位置の複数の候補から、使用する候補を絞り込み（例えば図９のＳ１１２）、絞り込んだ候補と画像データとに基づき、歯牙の種類及び位置を識別する識別部１０３と、を備える。
【0137】
このように、口腔内カメラシステムは、撮影部の姿勢に基づき、撮影対象の領域を判定し、判定された領域を用いて、歯牙の種類及び位置を識別する。これにより、処理量を低減できるとともに、識別精度を向上できる。
【0138】
ここで、上述したようなユーザが手動で撮影を行うシステムでは、システムの低コスト化及び小型化の要望が強く、例えば、撮影位置を検出するために光学センサ等を導入することは好ましくない。一方、本実施の形態では、加速度センサ等の位置センサ９０により、撮影部の姿勢を検出し、検出した姿勢に基づき領域を検出することで、安価に領域検出を実現できるとともに、検出した領域を用いて高精度に歯牙の識別を実現できる。
【0139】
例えば、領域検出部１０１は、図６等に示すように、領域の検出において、少なくとも上顎の領域か、下顎の領域かを検出する。
【0140】
例えば、複数の領域は、上顎の領域に含まれる複数の領域と、下顎の領域に含まれる複数の領域とを含む。
【0141】
例えば、図６等に示すように、領域検出部１０１は、さらに、検出した姿勢に基づき、撮影方向（例えば、頬側、舌側、歯冠側）を検出する。識別部１０３は、画像データと、検出された領域及び撮影方向とに基づき歯牙の種類及び位置を識別する。
【0142】
例えば、図１０に示すように、識別部１０３は、画像データを用いて、歯牙の種類及び位置の複数の候補の各々に対して評価値（例えばＥｒｒ（ｎ））を算出し（Ｓ１１３）、検出した領域に応じて評価値を補正（例えばＥｒｒ（ｎ）に重み付け）し（Ｓ１１８）、補正された評価値を用いて、画像データで示される歯牙の種類及び位置を識別する。
【0143】
例えば、識別部１０３は、ニューラルネットワーク（学習済みモデル）を含み、画像データと、検出された領域とを入力とし、歯牙の種類及び位置を出力する推定モデル１０６を用いて、歯牙の種類及び位置を識別する。
【0144】
例えば、識別部１０３は、画像データから歯間位置を検出し、検出された歯間位置に基づき、各々が一つの歯牙を示す歯牙画像を生成し、歯牙画像と、検出された領域とに基づき歯牙画像で示される歯牙の種類及び位置を識別する。
【0145】
例えば、口腔内カメラシステムは、さらに、ユーザの性別、年齢層及び人種の少なくとも一つを示すユーザ情報を取得するユーザ情報取得部１０２を含む。識別部１０３は、ユーザ情報と、画像データと、検出された領域とに基づき歯牙の種類及び位置を識別する。
【0146】
例えば、図１３～図２１に示すように、撮影部の所定の姿勢である初期姿勢を取得し（Ｓ２３１）、領域検出部１０１は、検出した姿勢を初期姿勢を用いて補正し（Ｓ２３２）、補正された姿勢に基づき、複数の領域のうち撮影部が撮影している領域を検出する（Ｓ２３３）。
【0147】
これによれば、当該口腔内カメラシステムは、ユーザの姿勢に応じて撮影部の姿勢を補正することで、処理の精度を向上できる。
【0148】
例えば、所定の姿勢は、ユーザＢＤの姿勢と撮影部の姿勢とが予め定められた関係となる撮影部の姿勢である。
【0149】
例えば、撮影部は、ハンドル部１０ｂと、画像データを生成する撮像素子１４を含むヘッド部１０ａと、ハンドル部１０ｂとヘッド部１０ａとを接続するネック部１０ｃとを含み、所定の姿勢は、ユーザＢＤの前額面１１０と撮影部の撮像面Ｓとが平行であり、かつ、撮像面Ｓにおける平面視においてユーザＢＤの垂直軸Ｚ１とハンドル部１０ｂからヘッド部１０ａに向かう方向とが一致又は直交する状態である。
【0150】
例えば、撮影部は、ハンドル部１０ｂと、画像データを生成する撮像素子１４を含むヘッド部１０ａと、ハンドル部１０ｂとヘッド部１０ａとを接続するネック部１０ｃとを含み、所定の姿勢は、予め定められた歯牙（例えば前歯）と撮影部の撮像面Ｓとを平行に正対させ、かつ、撮像面Ｓにおける平面視においてハンドル部１０ｂからヘッド部１０ａに向かう方向と予め定められた歯牙の高さ方向とが一致又は直交する状態である。
【0151】
これによれば、ユーザは初期姿勢の取得を容易に行える。また、初期姿勢の精度が向上することで補正の精度を向上できる。
【0152】
以上、本開示の実施の形態に係る口腔内カメラシステムについて説明したが、本開示は、この実施の形態に限定されるものではない。
【0153】
例えば、上記説明では、歯牙を撮影することを主目的とした口腔内カメラ１０を用いる例を説明したが、口腔内カメラ１０は、カメラを備える口腔内ケア機器であってもよい。例えば、口腔内カメラ１０は、カメラを備える口腔内洗浄機等であってもよい。
【0154】
また、上記実施の形態に係る口腔内カメラシステムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
【0155】
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0156】
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
【0157】
また、本開示は、口腔内カメラシステムにより実行される歯牙識別方法等として実現されてもよい。また、本開示は、口腔内カメラシステムに含まれる口腔内カメラ、携帯端末、又はクラウドサーバとして実現されてもよい。
【0158】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0159】
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【0160】
以上、一つまたは複数の態様に係る口腔内カメラシステム等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
【産業上の利用可能性】
【0161】
本開示は、口腔内カメラシステムに適用できる。
【符号の説明】
【0162】
１０ 口腔内カメラ
１０ａ ヘッド部
１０ｂ ハンドル部
１０ｃ ネック部
１２ 撮影光学系
１４ 撮像素子
２６Ａ 第１のＬＥＤ
２６Ｂ 第２のＬＥＤ
２６Ｃ 第３のＬＥＤ
２６Ｄ 第４のＬＥＤ
３６、４０ アクチュエータ
５０ 中央制御部
５２ 画像処理部
５４ ＬＥＤ制御部
５６ レンズドライバ
５８ 無線通信モジュール
６０ 電源制御部
６２ コントローラ
６４ メモリ
６６ 電池
６８ コイル
６９ 充電器
７０ 携帯端末
７２ タッチスクリーン
８０ クラウドサーバ
９０ 位置センサ
１０１ 領域検出部
１０２ ユーザ情報取得部
１０３ 識別部
１０４ 歯牙画像生成部
１０５ 種別識別部
１０６ 推定モデル
１１０ 前額面
１１１ 矢状面
１１２ 水平面
１０ａ ヘッド部
１０ｂ ハンドル部
１０ｃ ネック部
１２ 撮影光学系
１４ 撮像素子
２６Ａ 第１のＬＥＤ
２６Ｂ 第２のＬＥＤ
２６Ｃ 第３のＬＥＤ
２６Ｄ 第４のＬＥＤ
３６、４０ アクチュエータ
５０ 中央制御部
５２ 画像処理部
５４ ＬＥＤ制御部
５６ レンズドライバ
５８ 無線通信モジュール
６０ 電源制御部
６２ コントローラ
６４ メモリ
６６ 電池
６８ コイル
６９ 充電器
７０ 携帯端末
７２ タッチスクリーン
８０ クラウドサーバ
９０ 位置センサ
１０１ 領域検出部
１０２ ユーザ情報取得部
１０３ 識別部
１０４ 歯牙画像生成部
１０５ 種別識別部
１０６ 推定モデル
１１０ 前額面
１１１ 矢状面
１１２ 水平面
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】