特許 7429939 口腔内カメラシステム及び画像表示方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-01

(45)【発行日】2024-02-09

(54)【発明の名称】口腔内カメラシステム及び画像表示方法

(51)【国際特許分類】

   A61B 1/247 20060101AFI20240202BHJP

   A61B 1/00 20060101ALI20240202BHJP

   A61B 1/045 20060101ALI20240202BHJP

   A61C 19/04 20060101ALI20240202BHJP

【ＦＩ】

A61B1/247

A61B1/00 552

A61B1/045 622

A61B1/045 618

A61C19/04 Z

【請求項の数】 11

(21)【出願番号】P 2023500919

(86)(22)【出願日】2022-02-17

(86)【国際出願番号】 JP2022006364

(87)【国際公開番号】W WO2022176943

(87)【国際公開日】2022-08-25

【審査請求日】2022-11-25

(31)【優先権主張番号】P 2021026041

(32)【優先日】2021-02-22

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】大塚 泰雄

(72)【発明者】

【氏名】伊澤 正人

(72)【発明者】

【氏名】小川 智輝

(72)【発明者】

【氏名】中嶋 俊幸

(72)【発明者】

【氏名】粟飯原 雅之

(72)【発明者】

【氏名】船本 和宏

(72)【発明者】

【氏名】三木 匡

【審査官】北島 拓馬

(56)【参考文献】

【文献】国際公開第２０１６／１０８２７６（ＷＯ，Ａ１）

【文献】特開２０１９－１４１５８２（ＪＰ，Ａ）

【文献】特表２０１８－５３４０８６（ＪＰ，Ａ）

【文献】特開２０１２－１４３４８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

Ａ６１Ｃ １／００ － ５／００

Ａ６１Ｃ ５／４０ － ５／６８

Ａ６１Ｃ ５／９０ － ７／３６

Ａ６１Ｃ １９／００ －１９／１０

Ａ６１Ｇ １５／１４ －１５／１８

(57)【特許請求の範囲】

【請求項1】

ハンドル部と、画像データを生成する撮像素子を含むヘッド部と、前記ハンドル部と前記ヘッド部とを接続するネック部とを含み、口腔内の歯牙を撮影して画像データを生成する撮影部と、
前記撮影部の姿勢を検出するセンサと、
前記センサで検出された前記撮影部の姿勢に基づき、前記画像データを画像処理する画像処理部と、
前記画像処理を行った後の前記画像データを表示する表示部と、を備え、
前記画像処理部は、
前記撮影部の光軸に垂直な撮像面と、鉛直軸に沿う鉛直上向きの第１方向とがなす第１角度が予め定められた第２角度未満の場合、
前記ハンドル部から前記ヘッド部に向かう第２方向と、前記第１方向とがなす第３角度だけ前記画像データを回転することで、前記鉛直軸に対して鉛直上側が画像の上側になるように前記画像データを回転する
口腔内カメラシステム。

【請求項2】

前記画像処理部は、
前記第１角度が前記第２角度以上の場合、
前記画像データの内の前記ヘッド部側に対応する側が画像の上側になるように前記画像データを回転する
請求項１記載の口腔内カメラシステム。

【請求項3】

前記画像処理部は、
前記第１角度が前記第２角度未満の場合には、前記表示部に表示されている画像が、前記撮影部がユーザの口腔内において歯牙の側面を撮影した画像であることを前記表示部に表示し、
前記第１角度が前記第２角度以上の場合には、前記表示部に表示されている画像が、前記撮影部がユーザの口腔内において歯牙を歯冠側から撮影した画像であることを前記表示部に表示する
請求項１又は２記載の口腔内カメラシステム。

【請求項4】

前記画像処理部は、
前記第１角度と前記第２角度との差が予め定められた値未満の場合、前記画像データから歯牙領域と、前記歯牙領域に沿った歯茎領域を検出し、
前記歯茎領域が前記歯牙領域に対して頬側と舌側の両側に検出された場合には、前記画像データの内の前記ヘッド部側に対応する側が画像の上側になるように前記画像データを回転し、
前記歯茎領域が前記歯牙領域に対して頬側または舌側の一方の側のみ検出された場合には、
前記第１方向と、前記撮影部の光軸に沿い前記撮影部から被写体に向かう第３方向とがなす第４角度の余弦を算出し、
算出した余弦の値が正の場合、前記画像データにおいて前記歯茎領域より前記歯牙領域が下になるように前記画像データを回転し、
前記余弦の値が負の場合、前記画像データにおいて前記歯茎領域より前記歯牙領域が上になるように前記画像データを回転する
請求項１～３のいずれか１項に記載の口腔内カメラシステム。

【請求項5】

前記画像処理部は、さらに前記画像データの左右を反転し、
前記表示部は、回転及び反転後の前記画像データを表示する
請求項１～４のいずれか１項に記載の口腔内カメラシステム。

【請求項6】

前記画像処理部は、さらに、前記表示部の姿勢に基づき、前記画像データを回転する
請求項１～５のいずれか１項に記載の口腔内カメラシステム。

【請求項7】

前記撮影部の所定の姿勢である初期姿勢を取得し、
前記初期姿勢を用いて前記第１方向を補正する
請求項１～６のいずれか１項に記載の口腔内カメラシステム。

【請求項8】

前記所定の姿勢は、ユーザの姿勢と前記撮影部の姿勢とが予め定められた関係となる前記撮影部の姿勢である
請求項７記載の口腔内カメラシステム。

【請求項9】

前記所定の姿勢は、前記ユーザの前額面と前記撮影部の前記撮像面とが平行であり、かつ、前記撮像面における平面視において前記ユーザの垂直軸と前記第２方向とが一致又は直交する状態である
請求項８記載の口腔内カメラシステム。

【請求項10】

前記所定の姿勢は、予め定められた歯牙と前記撮影部の前記撮像面とを平行に正対させ、かつ、前記撮像面における平面視において前記第２方向と前記予め定められた歯牙の高さ方向とが一致又は直交する状態である
請求項７記載の口腔内カメラシステム。

【請求項11】

ハンドル部と、画像データを生成する撮像素子を含むヘッド部と、前記ハンドル部と前記ヘッド部とを接続するネック部とを含む撮影部が、口腔内の歯牙を撮影して画像データを生成し、
前記撮影部の姿勢を検出し、
検出された前記撮影部の姿勢に基づき、前記画像データを画像処理し、
前記画像処理を行った後の前記画像データを表示し、
前記画像処理では、
前記撮影部の光軸に垂直な撮像面と、鉛直軸に沿う鉛直上向きの第１方向とがなす第１角度が予め定められた第２角度未満の場合、
前記ハンドル部から前記ヘッド部に向かう第２方向と、前記第１方向とがなす第３角度だけ前記画像データを回転することで、前記鉛直軸に対して鉛直上側が画像の上側になるように前記画像データを回転する
画像表示方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、口腔内カメラシステム及び画像表示方法に関する。

【背景技術】

【0002】

口腔内の歯牙の画像を撮影する口腔内カメラシステムが特許文献１に開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－１４１５８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

このような、口腔内カメラシステムでは、撮影された歯牙の画像を適切に表示できることが望まれている。

【0005】

そこで、本開示は、撮影された歯牙の画像を適切に表示できる口腔内カメラシステム及び画像表示方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本開示の一態様に係る口腔内カメラシステムは、ハンドル部と、画像データを生成する撮像素子を含むヘッド部と、前記ハンドル部と前記ヘッド部とを接続するネック部とを含み、口腔内の歯牙を撮影して画像データを生成する撮影部と、前記撮影部の姿勢を検出するセンサと、前記センサで検出された前記撮影部の姿勢に基づき、前記画像データを画像処理する画像処理部と、前記画像処理を行った後の前記画像データを表示する表示部と、を備え、前記画像処理部は、前記撮影部の光軸に垂直な撮像面と、鉛直軸に沿う鉛直上向きの第１方向とがなす第１角度が予め定められた第２角度未満の場合、前記ハンドル部から前記ヘッド部に向かう第２方向と、前記第１方向とがなす第３角度だけ前記画像データを回転することで、前記鉛直軸に対して鉛直上側が画像の上側になるように前記画像データを回転する。

【発明の効果】

【0007】

本開示は、撮影された歯牙の画像を適切に表示できる口腔内カメラシステム及び画像表示方法を提供できる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施の形態に係る口腔内カメラシステムにおける口腔内カメラの斜視図である。

【図2】図２は、実施の形態に係る口腔内カメラシステムの概略的構成図である。

【図3】図３は、実施の形態に係る口腔内カメラシステムにおける口腔内撮影動作の流れを示す図である。

【図4】図４は、実施の形態に係る携帯端末の機能ブロック図である。

【図5】図５は、実施の形態に係る画像処理のフローチャートである。

【図6】図６は、実施の形態に係る口腔内カメラと撮像面との関係を模式的に示す図である。

【図7】図７は、実施の形態に係る鉛直軸と撮像面との角度αの例を示す図である。

【図8】図８は、実施の形態に係る鉛直軸と撮像面との角度αの例を示す図である。

【図9】図９は、実施の形態に係る口腔内カメラの軸方向ＬＢの例を示す図である。

【図10】図１０は、実施の形態に係る方向ＬＢと方向ＬＳの例を示す図である。

【図11】図１１は、実施の形態に係る方向ＬＢと方向ＬＳの例を示す図である。

【図12A】図１２Ａは、実施の形態に係る撮影状態の例を示す図である。

【図12B】図１２Ｂは、実施の形態に係る撮影された画像の例を示す図である。

【図13A】図１３Ａは、実施の形態に係る撮影状態の例を示す図である。

【図13B】図１３Ｂは、実施の形態に係る撮影された画像の例を示す図である。

【図13C】図１３Ｃは、実施の形態に係る画像処理後の画像の例を示す図である。

【図14】図１４は、実施の形態に係る回転処理の別の具体例のフローチャートである。

【図15】図１５は、実施の形態に係る携帯端末の傾きを示す図である。

【図16】図１６は、実施の形態の変形例１に係る画像処理のフローチャートである。

【図17】図１７は、実施の形態の変形例１に係る表示例を示すである。

【図18】図１８は、実施の形態の変形例１に係る表示例を示すである。

【図19】図１９は、実施の形態の変形例２に係る画像処理のフローチャートである。

【図20】図２０は、実施の形態の変形例２に係る撮影された画像の例を示す図である。

【図21】図２１は、実施の形態の変形例２に係る撮影された画像の例を示す図である。

【図22】図２２は、実施の形態の変形例２に係る角度γの例を示す図である

【図23】図２３は、実施の形態の変形例２に係る角度γの例を示す図である

【図24】図２４は、実施の形態の変形例３に係る、起立した状態のユーザに対する射影面の関係を示す図である。

【図25】図２５は、実施の形態の変形例３に係る、口腔内カメラの使用時におけるユーザの姿勢の例を示す図である。

【図26】図２６は、実施の形態の変形例３に係る、口腔内カメラの使用時におけるユーザの姿勢の例を示す図である。

【図27】図２７は、実施の形態の変形例３に係る画像処理のフローチャートである。

【図28】図２８は、実施の形態の変形例３に係る初期姿勢の例を示す図である。

【図29】図２９は、実施の形態の変形例３に係る初期姿勢の設定画面の一例を示す図である。

【図30】図３０は、実施の形態の変形例３に係る初期姿勢の設定画面の一例を示す図である。

【図31】図３１は、実施の形態の変形例３に係る初期姿勢の例を示す図である。

【図32】図３２は、実施の形態の変形例３に係る姿勢の補正の例を示す図である。

【発明を実施するための形態】

【0009】

本開示の一態様に係る口腔内カメラシステムは、ハンドル部と、画像データを生成する撮像素子を含むヘッド部と、前記ハンドル部と前記ヘッド部とを接続するネック部とを含み、口腔内の歯牙を撮影して画像データを生成する撮影部と、前記撮影部の姿勢を検出するセンサと、前記センサで検出された前記撮影部の姿勢に基づき、前記画像データを画像処理する画像処理部と、前記画像データを表示する表示部と、を備え、前記画像処理部は、前記撮影部の光軸に垂直な撮像面と、鉛直軸に沿う鉛直上向きの第１方向とがなす第１角度が予め定められた第２角度未満の場合、前記ハンドル部から前記ヘッド部に向かう第２方向と、前記第１方向とがなす第３角度だけ前記画像データを回転することで、前記鉛直軸に対して鉛直上側が画像の上側になるように前記画像データを回転する。

【0010】

これによれば、当該口腔内カメラシステムは、撮影された歯牙の画像を適切に表示できる。例えば、ユーザは、上下の関係が実際と同じ画像を確認できるので、直感的に歯牙の状態を把握できる。

【0011】

例えば、前記画像処理部は、前記第１角度が前記第２角度以上の場合、前記画像データの内の前記ヘッド部側に対応する側が画像の上側になるように前記画像データを回転してもよい。

【0012】

例えば、前記画像処理部は、前記第１角度が前記第２角度未満の場合には、前記表示部に表示されている画像が、前記撮影部がユーザの口腔内において歯牙の側面を撮影した画像であることを前記表示部に表示し、前記第１角度が前記第２角度以上の場合には、前記表示部に表示されている画像が、前記撮影部がユーザの口腔内において歯牙を歯冠側から撮影した画像であることを前記表示部に表示してもよい。

【0013】

これによれば、当該口腔内カメラシステムは、歯牙の撮影方向を表示する。これにより、ユーザは、現在撮影中の歯牙の撮影方向を容易に認識できるので、ユーザの利便性を向上できる。

【0014】

例えば、前記画像処理部は、前記第１角度と前記第２角度との差が予め定められた値未満の場合、前記画像データから歯牙領域と、前記歯牙領域に沿った歯茎領域を検出し、前記歯茎領域が前記歯牙領域に対して頬側と舌側の両側に検出された場合には、前記画像データの内の前記ヘッド部側に対応する側が画像の上側になるように前記画像データを回転し、前記歯茎領域が前記歯牙領域に対して頬側または舌側の一方の側のみ検出された場合には、前記第１方向と、前記撮影部の光軸に沿い前記撮影部から被写体に向かう第３方向とがなす第４角度の余弦を算出し、算出した余弦の値が正の場合、前記画像データにおいて前記歯茎領域より前記歯牙領域が下になるように前記画像データを回転し、前記余弦の値が負の場合、前記画像データにおいて前記歯茎領域より前記歯牙領域が上になるように前記画像データを回転してもよい。

【0015】

これによれば、当該口腔内カメラシステムは、第１角度が第２角度付近の場合には、歯茎領域と歯牙領域との関係と、第４角度の余弦とに基づき、画像データを回転する。これにより、当該口腔内カメラシステムは、第１角度が第２角度付近の場合における判定精度を向上できる。

【0016】

例えば、前記画像処理部は、さらに前記画像データの左右を反転し、前記表示部は、回転及び反転後の前記画像データを表示してもよい。

【0017】

これによれば、例えば、ユーザは、鏡に映した場合と同じ状態で、自身の歯牙を確認できるので、直感的に歯牙の状態を把握できる。

【0018】

例えば、前記画像処理部は、さらに、前記表示部の姿勢に基づき、前記画像データを回転してもよい。

【0019】

これによれば、例えば、ユーザは、上下の関係が実際と同じ画像を確認できるので、直感的に歯牙の状態を把握できる。

【0020】

例えば、前記撮影部の所定の姿勢である初期姿勢を取得し、前記初期姿勢を用いて前記第１方向を補正してもよい。

【0021】

これによれば、当該口腔内カメラシステムは、ユーザの姿勢に応じて撮影部の姿勢を補正することで、処理の精度を向上できる。

【0022】

例えば、前記所定の姿勢は、ユーザの姿勢と前記撮影部の姿勢とが予め定められた関係となる前記撮影部の姿勢であってもよい。

【0023】

例えば、前記所定の姿勢は、前記ユーザの前額面と前記撮影部の前記撮像面とが平行であり、かつ、前記撮像面における平面視において前記ユーザの垂直軸と前記第２方向とが一致又は直交する状態であってもよい。

【0024】

例えば、前記所定の姿勢は、予め定められた歯牙と前記撮影部の前記撮像面とを平行に正対させ、かつ、前記撮像面における平面視において前記第２方向と前記予め定められた歯牙の高さ方向とが一致又は直交する状態であってもよい。

【0025】

これによれば、ユーザは初期姿勢の取得を容易に行える。また、初期姿勢の精度が向上することで補正の精度を向上できる。

【0026】

また、本開示の一態様に係る画像表示方法は、ハンドル部と、画像データを生成する撮像素子を含むヘッド部と、前記ハンドル部と前記ヘッド部とを接続するネック部とを含む撮影部が、口腔内の歯牙を撮影して画像データを生成し、前記撮影部の姿勢を検出し、検出された前記撮影部の姿勢に基づき、前記画像データを画像処理し、前記画像データを表示し、前記画像処理では、前記撮影部の光軸に垂直な撮像面と、鉛直軸に沿う鉛直上向きの第１方向とがなす第１角度が予め定められた第２角度未満の場合、前記ハンドル部から前記ヘッド部に向かう第２方向と、前記第１方向とがなす第３角度だけ前記画像データを回転することで、前記鉛直軸に対して鉛直上側が画像の上側になるように前記画像データを回転する。

【0027】

これによれば、当該画像表示方法は、撮影された歯牙の画像を適切に表示できる。例えば、ユーザは、上下の関係が実際と同じ画像を確認できるので、直感的に歯牙の状態を把握できる。

【0028】

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0029】

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

【0030】

なお、発明者らは、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するものであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

【0031】

（実施の形態）
図１は、本実施の形態に係る口腔内カメラシステムにおける口腔内カメラの斜視図である。図１に示すように、口腔内カメラ１０は、片手で取り扱うことが可能な歯ブラシ状の筺体を備え、その筺体は、歯列撮影時にユーザの口腔内に配置されるヘッド部１０ａと、ユーザが把持するハンドル部１０ｂと、ヘッド部１０ａとハンドル部１０ｂとを接続するネック部１０ｃとを含んでいる。

【0032】

撮影光学系１２は、ヘッド部１０ａとネック部１０ｃとに組み込まれている。撮影光学系１２は、その光軸ＬＡ上に配置された撮像素子１４とレンズとを含んでいる（図１には図示せず）。

【0033】

撮像素子１４は、例えばＣ－ＭＯＳセンサまたはＣＣＤ素子などの撮影デバイスであって、レンズによって歯牙の像が結像される。その結像した像に対応する信号（画像データ）を、撮像素子１４は外部に出力する。

【0034】

また、口腔内カメラ１０は、撮影時に撮影対象の歯牙に対して光を照射する照明デバイスとして、複数の第１～第４のＬＥＤ２６Ａ～２６Ｄを搭載している。第１～第４のＬＥＤ２６Ａ～２６Ｄは、例えば白色ＬＥＤである。

【0035】

図２は、本実施の形態に係る口腔内カメラシステムの概略的構成図である。図２に示すように、本実施の形態に係る口腔内カメラシステムは、概略的には、口腔内カメラ１０を用いて歯列を撮影し、その撮影画像に対して画像処理を実行するように構成されている。

【0036】

図２に示すように、口腔内カメラシステムは、口腔内カメラ１０と、携帯端末７０と、クラウドサーバ８０とを含んでいる。携帯端末７０は、例えば、無線通信可能なスマートフォン又はタブレット端末等である。携帯端末７０は、入力デバイス及び出力デバイスとして、例えば歯列画像を表示可能なタッチスクリーン７２を備える。携帯端末７０は、口腔内カメラシステムのユーザインタフェースとして機能する。

【0037】

クラウドサーバ８０は、携帯端末７０に対してインターネットなどを介して通信可能なサーバであって、携帯端末７０に口腔内カメラ１０を使用するためのアプリケーションを提供する。例えば、ユーザがアプリケーションをクラウドサーバ８０からダウンロードして携帯端末７０にインストールする。また、クラウドサーバ８０は、口腔内カメラ１０によって撮影された歯列画像を携帯端末７０を介して取得する。

【0038】

口腔内カメラシステムは、システムの制御を行う主要部分として中央制御部５０と、撮像素子１４からの歯列画像を画像処理する画像処理部５２と、複数のＬＥＤ２６Ａ～２６Ｄを制御するＬＥＤ制御部５４と、構図調節機構のアクチュエータ３６と焦点調節機構のアクチュエータ４０を制御するレンズドライバ５６と、位置センサ９０とを含んでいる。

【0039】

また、口腔内カメラシステムは、携帯端末７０と無線通信を行う無線通信モジュール５８と、中央制御部５０などに電力供給を行う電源制御部６０とを有する。

【0040】

口腔内カメラシステムの中央制御部５０は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載されている。例えば、また、中央制御部５０は、後述する様々な処理を実行するＣＰＵやＭＰＵなどのコントローラ６２と、コントローラ６２に様々な処理を実行させるためのプログラムを記憶するＲＡＭやＲＯＭなどのメモリ６４とを含んでいる。なお、メモリ６４には、プログラム以外に、撮像素子１４によって撮影された歯列画像（画像データ）や種々の設定データなどが記憶される。

【0041】

画像処理部５２は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０のコントローラ６２からの制御信号に基づいて、撮像素子１４が撮影した歯列画像（画像データ）を取得し、その取得した歯列画像に対して画像処理を実行し、その画像処理後の歯列画像を中央制御部５０に出力する。画像処理部５２は、例えば回路で構成され、例えば歯列画像に対してノイズ除去、ＡＷＢ（Ａｕｔｏｍａｔｉｃ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理などの画像処理を実行する。画像処理部５２から出力された歯列画像を、コントローラ６２は、無線通信モジュール５８を介して携帯端末７０に送信する。携帯端末７０は、その送信された歯列画像をタッチスクリーン７２に表示し、それによりユーザに歯列画像を提示する。

【0042】

ＬＥＤ制御部５４は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、コントローラ６２からの制御信号に基づいて、第１～第４のＬＥＤ２６Ａ～２６Ｄの点灯および消灯を実行する。ＬＥＤ制御部５４は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して口腔内カメラ１０を起動させる操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介してコントローラ６２に送信される。コントローラ６２は、受信した信号に基づいて、第１～第４のＬＥＤ２６Ａ～２６Ｄを点灯させるようにＬＥＤ制御部５４に制御信号を送信する。

【0043】

レンズドライバ５６は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０のコントローラ６２からの制御信号に基づいて、構図調節機構のアクチュエータ３６と焦点調節機構のアクチュエータ４０を制御する。レンズドライバ５６は、例えば回路で構成される。例えば、ユーザが携帯端末７０のタッチスクリーン７２に対して構図調節やピント調節に関する操作を実行すると、携帯端末７０から対応する信号が無線通信モジュール５８を介して中央制御部５０に送信される。中央制御部５０のコントローラ６２は、受信した信号に基づいて、構図調節やピント調節を実行するようにレンズドライバ５６に制御信号を送信する。また例えば、コントローラ６２が画像処理部５２からの歯列画像に基づいて構図調節やピント調節に必要なアクチュエータ３６、４０の制御量を演算し、その演算された制御量に対応する制御信号がレンズドライバ５６に送信される。

【0044】

無線通信モジュール５８は、例えば、口腔内カメラ１０のハンドル部１０ｂに搭載され、コントローラ６２からの制御信号に基づいて、携帯端末７０と無線通信を行う。無線通信モジュール５８は、例えばＷｉＦｉ（登録商標）やＢｌｕｅｔｏｏｔｈ（登録商標）などの既存の通信規格に準拠した無線通信を携帯端末７０との間で実行する。無線通信モジュール５８を介して、口腔内カメラ１０から歯牙Ｄが写る歯列画像が携帯端末７０に送信されたり、携帯端末７０から口腔内カメラ１０に操作信号が送信される。

【0045】

電源制御部６０は、本実施の形態の場合、口腔内カメラ１０のハンドル部１０ｂに搭載され、中央制御部５０、画像処理部５２、ＬＥＤ制御部５４、レンズドライバ５６、および無線通信モジュール５８に、電池６６の電力を分配する。電源制御部６０は、例えば回路で構成される。なお、本実施の形態の場合、電池６６は、充電可能な二次電池であって、口腔内カメラ１０に搭載されたコイル６８を介して、商用電源に接続された外部の充電器６９によってワイヤレス充電される。

【0046】

位置センサ９０は、口腔内カメラ１０の姿勢及び位置を検出するためのセンサであり、例えば、多軸（ここではｘ，ｙ，ｚの三軸）の加速度センサである。例えば、位置センサ９０は、三軸の加速度センサと三軸のジャイロセンサとを有する六軸センサであってもよい。例えば、図１に示すように、ｚ軸は光軸ＬＡに一致する。ｙ軸は、撮像面と平行であり、かつ口腔内カメラ１０の長手方向に延びる。また、ｘ軸は、撮像面と平行であり、ｙ軸と直交する。位置センサ９０の各軸の出力（センサデータ）は、中央制御部５０及び無線通信モジュール５８を介して、携帯端末７０に送信される。

【0047】

位置センサ９０としては、ピエゾ抵抗タイプ、静電容量タイプ、もしくは熱検知タイプのＭＥＭＳセンサが用いられてもよい。また特に図示しないが、各軸のセンサの感度のバランス、感度の温度特性、温度ドリフトなどを補正するための補正回路を設けるとよい。また、動加速度成分やノイズを除去するためのバンドパスフィルタ（ローパスフィルタ）を設けてもよい。また、加速度センサの出力波形を平滑化することによりノイズを低減してもよい。

【0048】

次に、口腔内カメラシステムにおける口腔内撮影動作について説明する。図３は、口腔内カメラシステムにおける口腔内撮影動作の流れを示す図である。なお、図３に示す処理は、例えば、リアルタイムに行われる処理であり、１フレーム又は複数フレームの画像データが得られる毎に行われる。

【0049】

ユーザが口腔内カメラ１０を用いて、自身の口腔内の歯牙及び歯茎を撮影することで画像データが生成される（Ｓ１０１）。次に、口腔内カメラ１０は、撮影された画像データと、撮影時において位置センサ９０で得られたセンサデータとを携帯端末７０に送信する（Ｓ１０２）。なお、ここで、画像データは、動画であってもよいし、１又は複数の静止画であってもよい。また、画像データが動画又は複数の静止画である場合には、動画のフレーム毎、又は静止画毎に、センサデータが送信される。なお、画像データが動画である場合において複数フレーム毎にセンサデータが送信されてもよい。

【0050】

また、画像データ及びセンサデータの送信は、リアルタイムで行われてもよいし、一連の撮影（例えば口腔内の全ての歯牙の撮影）が行われた後にまとめて送信されてもよい。

【0051】

携帯端末７０は、受信したセンサデータに基づき、受信した画像データを回転し（Ｓ１０３）、回転後の画像データを表示する（Ｓ１０４）。

【0052】

このような、口腔内カメラシステムを用いることで、ユーザは、口腔内カメラ１０でユーザ自身の口腔内の画像を撮影し、携帯端末７０に表示された口腔内の状態を確認できる。これにより、ユーザは自身の歯牙の健康状態の確認などを容易に行うことができる。

【0053】

また、携帯端末７０は、例えば、撮影された複数の画像データから、口腔内の複数の歯牙の三次元モデルを生成してもよい。また、携帯端末７０は、生成された三次元モデルに基づく画像を表示してもよい。

【0054】

なお、ここでは、携帯端末７０が歯牙の画像の回転を行う例を述べるが、この処理の一部又は全てを口腔内カメラ１０が行ってもよい。

【0055】

図４は、携帯端末７０の機能ブロック図である。携帯端末７０は、位置センサ１０１と、画像処理部１０２と、表示部１０３とを備える。

【0056】

位置センサ１０１は、携帯端末７０の姿勢及び位置を検出するためのセンサであり、例えば、多軸（例えば三軸）の加速度センサである。

【0057】

画像処理部１０２は、口腔内カメラ１０から送信されたセンサデータと、位置センサ１０１で得られたセンサデータとに基づき、画像データを回転する回転処理を含む画像処理を行う。画像処理部１０２の機能は、例えば、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現される。

【0058】

表示部１０３は、携帯端末７０が備える表示デバイスであり、画像処理部１０２で画像処理が行われた後の画像データを表示する。

【0059】

図５は、画像処理部１０２における画像処理のフローチャートである。まず、画像処理部１０２は、実空間における鉛直軸ＬＶと撮像面Ｓとの角度αは０度以上４５度未満であるかを判定する（Ｓ１５１）。ここで、撮像面Ｓの姿勢は口腔内カメラ１０で得られたセンサデータから算出される。

【0060】

図６は、口腔内カメラ１０と撮像面Ｓとの関係を模式的に示す図である。撮像面Ｓは光軸ＬＡに垂直な面である。

【0061】

図７及び図８は、鉛直軸ＬＶと撮像面Ｓとの角度αの例を示す図である。ここで、角度αは、０～９０度の範囲である。また、角度αは、９０度－（鉛直軸ＬＶと光軸ＬＡとのなす角）とも表される。

【0062】

図７は、角度αが４５度未満の例であり、撮像面Ｓが垂直に近い角度になっている。図８は、角度αが４５度以上の例であり、撮像面Ｓが水平に近い角度になっている。ここで、歯牙を側面（頬側又は舌側）から撮影している場合には、図７に示すように、撮像面Ｓが垂直に近い角度になり、歯牙を歯冠側（咬合面）から撮影している場合には、撮像面Ｓは水平に近い角度になる。よって、画像処理部１０２は、角度αが４５度未満の場合には（Ｓ１５１でＹｅｓ）、歯牙が側面から撮影されていると判定し、角度αが４５度以上の場合には（Ｓ１５１でＮｏ）、歯牙が歯冠側から撮影されていると判定する。

【0063】

なお、ここでは、歯牙の撮影方向を判定するための閾値として４５度を用いる例を示しているが、閾値の値は４５度に限定されない。例えば、この閾値は、４０度～５０度の範囲内であってもよいし、３０度から６０度の範囲内であってもよい。

【0064】

まず、角度αが４５度未満の場合には（Ｓ１５１でＹｅｓ）の場合について説明する。角度αが４５度未満の場合には（Ｓ１５１でＹｅｓ）、画像処理部１０２は、ユーザが頬側あるいは舌側から歯牙を撮影していると判定する。画像処理部１０２は、鉛直上側が画像の上側になるように画像データを回転する（Ｓ１５２）。以下、この処理の具体例を説明する。

【0065】

図９は、口腔内カメラ１０の軸方向ＬＢの例を示す図である。方向ＬＢは、口腔内カメラ１０において、口腔内カメラ１０の長手方向の中心を通り、ハンドル部１０ｂからヘッド部１０ａへ向かう方向である。また、この例では、撮像面Ｓ（画像データ）の垂直方向（列方向）の中心を通る方向である。言い換えると、口腔内カメラ１０で生成される画像データの上側は、口腔内カメラ１０の先端側（ヘッド部１０ａ側）であり、画像データの下側は、口腔内カメラ１０の根本側（ハンドル部１０ｂ側）である。また、方向ＬＢは、口腔内カメラ１０で得られたセンサデータから算出される。

【0066】

図１０及び図１１は、方向ＬＢと方向ＬＳの例を示す図である。方向ＬＳは鉛直軸に沿う鉛直上向きの方向である。また、図１０及び図１１に示す角度θは、方向ＬＢと方向ＬＳとのなす角度であり、０～１８０度の範囲である。画像処理部１０２は、鉛直上側が画像の上側になるように、画像データを角度θ回転する。なお、図９に示すように、元々画像データの上側が口腔内カメラ１０の先端側と一致している場合には、画像処理部１０２は、画像データの回転を行わない。

【0067】

一例として、ユーザが上顎の前歯（中切歯、側切歯）を撮影している場合に、画像処理部１０２が実施する動作を説明する。

【0068】

図１２Ａは、ユーザが口腔内カメラ１０を垂直に把持した状態で上顎の前歯を頬側（唇側）から撮影している状態を示す図である。図１２Ａでは、方向ＬＢと方向ＬＳは平行になる。

【0069】

図１２Ｂは、図１２Ａに示した状態で撮影した前歯の画像の一例を示す図である。口腔内カメラ１０の先端側（ヘッド部１０ａ側）が画像の上側になるように画像データが表示される。方向ＬＢと方向ＬＳは平行なので、図１２Ｂで確認できるように、歯茎（歯肉とも呼ぶ）を含む歯茎領域（歯肉領域とも呼ぶ）が歯牙領域より上に表示されており、ユーザは、直感的に歯牙の状態を把握できる。

【0070】

一方、図１３Ａは、ユーザが口腔内カメラ１０を水平に保持した状態で上顎の前歯を頬側（唇側）から撮影している状態を示す図である。図１３Ａでは、方向ＬＢと方向ＬＳとのなす角度θは９０度であるとする。

【0071】

図１３Ｂは、図１３Ａに示した状態で撮影した前歯の画像の一例を示す図である。口腔内カメラ１０の先端側（ヘッド部１０ａ側）が画像の上側になるように画像データが表示されるので、右側に歯茎領域が、左側に歯牙領域が表示される。

【0072】

図１３Ｃは、画像処理部１０２の処理後の前歯の画像を示す図である。画像処理部１０２は、鉛直上側が画像の上側になるように、画像データを角度９０回転して表示する。これにより、歯茎を含む歯茎領域が歯牙領域より上に表示されており、ユーザは、直感的に歯牙の状態を把握できる。

【0073】

なお、この回転処理の具体例として、以下の方法が用いられてもよい。図１４は、回転処理の別の具体例のフローチャートである。まず、画像処理部１０２は、画像データから歯牙を含む歯牙領域と、歯茎を含む歯茎領域とを判定する（Ｓ１６１）。例えば、画像処理部１０２は、特徴量を用いた画像解析等により、画像データ内の歯牙領域と歯茎領域とを判定する。

【0074】

次に、画像処理部１０２は、現在の撮影対象が上顎であるか下顎であるかを判定する（Ｓ１６２）。例えば、口腔内カメラ１０を唇又は頬肉の干渉を受けながら口腔内で歯列に沿って操作するため、上顎の歯列を撮影するときは撮像面Ｓが少なからず上向きになり、下顎の歯列を撮影するときは撮像面Ｓが少なからず下向きになる。よって、画像処理部１０２は、撮像面Ｓの方向（光軸ＬＡの方向）が水平よりも上向きである場合には、撮影対象が上顎であると判定し、撮像面Ｓの方向（光軸ＬＡの方向）が水平よりも下向きである場合には、撮影対象が下顎であると判定する。

【0075】

なお、画像処理部１０２は、撮影面Ｓの方向（光軸ＬＡの方向）で撮影対象が上顎であるか下顎であるかを判断することに替えて、例えば、ユーザが携帯端末７０から撮影対象が上顎であるか下顎であるかを入力するようにしてもよい。ユーザが携帯端末７０で入力した撮影対象となる部位は画像処理部１０２に入力される。

【0076】

撮影対象が上顎である場合（Ｓ１６２でＹｅｓ）、画像処理部１０２は、歯茎領域より歯牙領域が下になるように画像データを回転する（Ｓ１６３）。一方、撮影対象が下顎である場合（Ｓ１６２でＮｏ）、画像処理部１０２は、歯茎領域より歯牙領域が上になるように画像データを回転する（Ｓ１６４）。これにより、画像処理部１０２は、鉛直上側が画像の上側になるように画像データを回転できる。

【0077】

なお、ステップＳ１５２における、鉛直上側が画像の上側になるように画像データを回転するとは、鉛直上側が画像の上側と完全に一致するように画像データを回転することに限らず、所定のずれを含んでもよい。また、当該処理は、回転前の画像データよりも鉛直上側が画像の上側に近づくように画像データを回転することを含んでもよい。

【0078】

このように、画像処理部１０２は、側面から歯牙が撮影されている場合には、鉛直上側が画像の上側になるように画像データを回転する。これにより、ユーザは、上下の関係が実際と同じ画像を携帯端末７０上で確認できる。よって、ユーザは、直感的に歯牙の状態を把握できるので、ユーザの利便性を向上できる。

【0079】

再度、図５を用いて説明を行う。次に、角度αが４５度以上の場合（Ｓ１５１でＮｏ）について説明する。角度αが４５度以上の場合（Ｓ１５１でＮｏ）、画像処理部１０２は、ユーザが歯冠側から歯牙を撮影していると判定する。画像処理部１０２は、口腔内カメラ１０の先端側が画像の上側になるように画像データを回転する（Ｓ１５３）。

【0080】

ここで、歯冠側から撮影が行われている場合には、鉛直方向との傾きは影響が少ないため、ステップＳ１５２のような鉛直方向からの傾きに基づく回転は行われない。一方で、口腔内カメラ１０の先端側が画像の上側になる画像データを表示することで、口腔の外部から歯牙の歯冠側を見たような画像を表示できる。よって、ユーザは、直感的に歯牙の状態を把握できるので、ユーザの利便性を向上できる。

【0081】

なお、ステップＳ１５３における、口腔内カメラ１０の先端側が画像の上側になるように画像データを回転するとは、口腔内カメラ１０の先端側が画像の上側と完全に一致するように画像データを回転することに限らず、所定のずれを含んでもよい。

【0082】

ステップＳ１５２又はＳ１５３の後、画像処理部１０２は、表示部１０３の姿勢（携帯端末７０の姿勢）に基づき、画像データを回転する（Ｓ１５４）。具体的には、画像処理部１０２は、表示部１０３（携帯端末７０）の姿勢に関わらず、表示される画像の上側が実空間の上側になるように画像データを回転する。

【0083】

図１５は、携帯端末７０の傾きを示す図である。図１５に示すように、携帯端末７０が鉛直上向きの方向ＬＳに対して角度β傾いている場合には、画像処理部１０２は、画像データを角度β回転する。なお、図１５に示す方向ＬＣは、携帯端末７０の長手方向に延びる方向であり、通常使用時における下側から上側に向かう方向である。例えば、角度βは、方向ＬＳと方向ＬＣとがなす角度である。

【0084】

これによれば、例えば、ユーザが一方の手で携帯端末７０を持ちながら、他方の手で口腔内カメラ１０により自身の歯牙を撮影する場合において、携帯端末７０が傾いている場合においても、ユーザは、上下の関係が実際と同じ画像を携帯端末７０上で確認できる。よって、ユーザは、直感的に歯牙の状態を把握できるので、ユーザの利便性を向上できる。

【0085】

画像処理部１０２は、画像データの左右を反転する（Ｓ１５５）。これにより、ユーザは、鏡に映した場合と同じ状態で、自身の歯牙を確認できる。よって、ユーザは、直感的に歯牙の状態を把握できるので、ユーザの利便性を向上できる。

【0086】

なお、上記では、位置センサ９０及び位置センサ１０１が有する三軸の加速度センサを用いて口腔内カメラ１０及び携帯端末７０の姿勢、並びに、撮影方向を判定する例を説明したが、三軸のジャイロセンサを用いて口腔内カメラ１０及び携帯端末７０の姿勢、並びに、撮影方向を判定してもよい。三軸のジャイロセンサは、例えば、それぞれｘ軸周りの移動による角度の変化量、ｙ軸周りの移動による角度の変化量、及びｚ軸周りの移動による角度の変化量を出力する。すなわち、三軸のジャイロセンサの場合には、ｘ軸、ｙ軸及びｚ軸の初期状態を任意に設定した状態で、それぞれの軸の変化量を加算していき、口腔内カメラ１０及び携帯端末７０の姿勢、並びに、撮影方向を判定する。

【0087】

なお、三軸の加速度センサと三軸のジャイロセンサとを両方組合せることで、口腔内カメラ１０及び携帯端末７０の姿勢、並びに、撮影方向を判定してもよい。

【0088】

以上のように、口腔内カメラシステムは、ユーザの口腔内の歯牙を手動により撮影することで画像データを生成する撮影部（例えば口腔内カメラ１０）と、撮影部（例えば口腔内カメラ１０）の姿勢を検出する位置センサ９０と、位置センサ９０で検出された撮影部（例えば口腔内カメラ１０）の姿勢に基づき、画像データを回転する画像処理部１０２と、回転後の画像データを表示する表示部１０３とを備える。これによれば、当該口腔内カメラシステムは、撮影された歯牙の画像を適切に表示できる。

【0089】

例えば、画像処理部１０２は、撮影部（例えば口腔内カメラ１０）の姿勢に基づき、実空間における鉛直上側が画像の上側になるように画像データを回転する。これによれば、例えば、ユーザは、上下の関係が実際と同じ画像を確認できるので、直感的に歯牙の状態を把握できる。

【0090】

例えば、画像処理部１０２は、撮影部（例えば口腔内カメラ１０）の撮像面Ｓと鉛直軸ＬＶとがなす第１角度αが、予め定められた第２角度（例えば４５度）未満の場合、撮影部（例えば口腔内カメラ１０）の姿勢に基づき、実空間における鉛直上側が画像の上側になるように画像データを回転する。

【0091】

例えば、撮影部（例えば口腔内カメラ１０）は、ユーザが把持するハンドル部１０ｂと、画像データを生成する撮像素子を含むヘッド部１０ａと、ハンドル部１０ｂとヘッド部１０ａとを接続するネック部１０ｃとを含み、画像処理部１０２は、第１角度αが第２角度以上の場合、撮影部（例えば口腔内カメラ１０）におけるヘッド部１０ａ側が画像の上側になるように画像データを回転する。

【0092】

例えば、撮影部（例えば口腔内カメラ１０）は、ユーザが把持するハンドル部１０ｂと、画像データを生成する撮像素子を含むヘッド部１０ａと、ハンドル部１０ｂとヘッド部１０ａとを接続するネック部１０ｃとを含み、画像処理部１０２は、ハンドル部１０ｂからヘッド部１０ａに向かう第１方向ＬＢと、鉛直上向きの第２方向ＬＶとがなす第３角度θだけ画像データを回転する。

【0093】

例えば、図１４に示すように、画像処理部１０２は、撮影部（例えば口腔内カメラ１０）の姿勢に基づき、画像データに上顎の画像が含まれるか、下顎の画像が含まれるかを判定し（Ｓ１６２）、画像データに上顎の画像が含まれる場合、画像データにおいて歯茎領域より歯牙領域が下になるように画像データを回転し（Ｓ１６３）、画像データに下顎の画像が含まれる場合、画像データにおいて歯茎領域より歯牙領域が上になるように画像データを回転する（Ｓ１６４）。

【0094】

例えば、画像処理部１０２は、さらに、画像データの左右を反転し（Ｓ１５５）、表示部１０３は、回転及び反転後の画像データを表示する。これによれば、例えば、ユーザは、鏡に映した場合と同じ状態で、自身の歯牙を確認できるので、直感的に歯牙の状態を把握できる。

【0095】

例えば、画像処理部１０２は、さらに、表示部１０３の姿勢に基づき、画像データを回転する（Ｓ１５４）。これによれば、例えば、ユーザは、上下の関係が実際と同じ画像を確認できるので、直感的に歯牙の状態を把握できる。

【0096】

以下、上述した実施の形態の変形例について説明する。

【0097】

（変形例１）
表示部１０３は、上述した口腔内カメラ１０の姿勢に基づく歯牙の撮影方向の判定結果を表示してもよい。図１６は、この場合の画像処理部１０２における画像処理のフローチャートである。なお、画像処理部１０２は、図１６に示す処理のみを行ってもよいし、上述した処理（例えば図５に示す処理）に加えて図１６に示す処理を行ってもよい。

【0098】

まず、画像処理部１０２は、実空間における鉛直軸ＬＶと撮像面Ｓとの角度αは０度以上４５度未満であるかを判定する（Ｓ２０１）。ここで、撮像面Ｓの姿勢は口腔内カメラ１０で得られたセンサデータから算出される。なお、この処理の詳細は、図５に示すＳ１５１と同様である。

【0099】

画像処理部１０２は、角度αが４５度未満の場合には（Ｓ２０１でＹｅｓ）、歯牙が側面（頬側又は舌側）から撮影されていると判定し、撮影中（表示中）の画像が、ユーザの口腔内において歯牙の側面を撮影した画像であることを表示部１０３に表示する（Ｓ２０２）。図１７は、この場合の表示例を示す図である。図１７に示すように、例えば、表示部１０３は、撮影中の画像と、歯牙の側面を撮影中である旨とを表示する。

【0100】

一方、画像処理部１０２は、角度αが４５度以上の場合には（Ｓ２０１でＮｏ）、歯牙が歯冠側から撮影されていると判定し、撮影中（表示中）の画像が、ユーザの口腔内において歯牙を歯冠側から撮影した画像であることを表示部１０３に表示する（Ｓ２０３）。図１８は、この場合の表示例を示す図である。図１８に示すように、例えば、表示部１０３は、撮影中の画像と、歯牙の歯冠側を撮影中である旨とを表示する。

【0101】

なお、ここでは歯牙の撮影方向を文字（メッセージ）で表す例を示したが、文字、イラスト、アイコン及び記号等が用いられてもよいし、これらの組み合わせが用いられてよい。

【0102】

このように、歯牙の撮影方向を表示することで、ユーザは、現在撮影中の歯牙の撮影方向を容易に認識できるので、ユーザの利便性を向上できる。

【0103】

（変形例２）
上記では、角度αが予め定められた角度（例えば４５度）未満であるか否かに基づき、歯牙の撮影方向等を判定する例を述べたが、角度αが当該予め定められた角度付近の場合には、判定の精度が低下する可能性がある。例えば、口腔内奥の大臼歯を撮影する場合等に角度αが４５度付近なる可能性がある。よって、画像処理部１０２は、角度αが当該予め定められた角度付近の場合には、さらに別の判定処理を行ってもよい。

【0104】

図１９は、この場合の画像処理部１０２における画像処理のフローチャートである。まず、画像処理部１０２は、実空間における鉛直軸ＬＶと撮像面Ｓとの角度αは４５度付近であるか否かを判定する（Ｓ２１１）。なお、４５度付近とは、例えば、４０度から５０度であってもよいし、それよりも狭い又は広い範囲であってもよい。言い換えると、画像処理部１０２は、角度αと４５度との差分が予め定められた値未満の場合に角度αは４５度付近と判定する。

【0105】

角度αが４５度付近でない場合（Ｓ２１１でＮｏ）、画像処理部１０２は、図５と同様の処理を行う（Ｓ２１８～Ｓ２２２）。つまり、画像処理部１０２は、角度αは０度以上４５度未満であるかを判定する（Ｓ２１８）。

【0106】

角度αが４５度未満の場合には（Ｓ２１８でＹｅｓ）、画像処理部１０２は、ユーザが頬側あるいは舌側から歯牙を撮影していると判定し、鉛直上側が画像の上側になるように画像データを回転する（Ｓ２１９）。一方、角度αが４５度以上の場合（Ｓ２１８でＮｏ）、画像処理部１０２は、ユーザが歯冠側から歯牙を撮影していると判定し、口腔内カメラ１０の先端側が画像の上側になるように画像データを回転する（Ｓ２２０）。

【0107】

次に、画像処理部１０２は、表示部１０３の姿勢（携帯端末７０の姿勢）に基づき、画像データを回転する（Ｓ２２１）。具体的には、画像処理部１０２は、表示部１０３（携帯端末７０）の姿勢に関わらず、表示される画像の上側が実空間の上側になるように画像データを回転する。次に、画像処理部１０２は、画像データの左右を反転する（Ｓ２２２）。これにより、ユーザは、鏡に映した場合と同じ状態で、自身の歯牙を確認できる。

【0108】

一方、角度αが４５度付近である場合（Ｓ２１１でＹｅｓ）、画像処理部１０２は、画像データから歯牙を含む歯牙領域と、歯茎を含む歯茎領域とを判定する（Ｓ２１２）。例えば、画像処理部１０２は、特徴量を用いた画像解析等により、画像データ内の歯牙領域と歯茎領域とを判定する。

【0109】

次に、画像処理部１０２は、歯茎領域が歯牙領域の両側にあるか、片側のみにあるかを判定する（Ｓ２１３）。歯茎領域が歯牙領域の両側にある場合（Ｓ２１３でＹｅｓ）、画像処理部１０２は、ユーザが歯冠側から歯牙を撮影していると判定し、口腔内カメラ１０の先端側が画像の上側になるように画像データを回転する（Ｓ２２０）。

【0110】

図２０は、歯冠側から撮影された歯牙の画像の例を示す図である。図２０に示すように歯冠側から撮影された画像では、歯牙領域（歯牙列）の両側に歯茎領域が存在する。

【0111】

一方、歯茎領域が歯牙領域の片側のみにある場合（Ｓ２１３でＮｏ）、画像処理部１０２は、ユーザが頬側あるいは舌側から歯牙を撮影していると判定する。図２１は、頬側から撮影された下顎の歯牙の画像の例を示す図である。図２１に示すように頬側から撮影された画像では、歯牙領域（歯牙列）の方側のみに歯茎領域が存在する。

【0112】

次に、画像処理部１０２は、ｃｏｓγを算出する（Ｓ２１４）。図２２及び図２３は、角度γの例を示す図である。角度γは、光軸ＬＡと鉛直上方向ＬＳとがなす角度であり、０～１８０度の範囲である。次に、画像処理部１０２は、ｃｏｓγの値が正であるか負であるか判定する（Ｓ２１５）。なお、ここでは、ｃｏｓγの値が正であるか負であるかを判定するが、この処理は、光軸ＬＡに沿って撮像素子１４から被写体に向かう方向の任意の値を有する第１ベクトルと、鉛直上方向ＬＳの任意の値を有する第２ベクトルとの内積が正であるか負であるかを判定することと等価である。

【0113】

ｃｏｓγの値が正である場合（Ｓ２１５でＹｅｓ）、つまり、γが０～９０度である場合（例えば図２２）、画像処理部１０２は、上顎の歯牙を撮影していると判定し、歯茎領域より歯牙領域が下になるように画像データを回転する（Ｓ２１６）。一方、ｃｏｓγの値が負である場合（Ｓ２１５でＮｏ）、つまり、γが９０～１８０度である場合（例えば図２３）、画像処理部１０２は、下顎の歯牙を撮影していると判定し、歯茎領域より歯牙領域が上になるように画像データを回転する（Ｓ２１７）。例えば、図２１に示すように歯茎領域より歯牙領域が上になるように画像データが回転される。

【0114】

ステップＳ２１６又はＳ２１７の後、画像処理部１０２は、表示部１０３の姿勢（携帯端末７０の姿勢）に基づき、画像データを回転する（Ｓ２２１）。次に、画像処理部１０２は、画像データの左右を反転する（Ｓ２２２）。

【0115】

以上により、画像処理部１０２は、角度αが４５度付近の場合には、歯茎領域と歯牙領域との関係に基づき、撮影方向（側面、歯冠側）を判定し、ｃｏｓγに基づき上顎か下顎かを判定する。これにより、画像処理部１０２は、角度αが４５度付近の場合における判定精度を向上できる。

【0116】

（変形例３）
上述した口腔内カメラ１０の姿勢に基づく歯牙の撮影方向等の判定は、ユーザが直立した状態又は椅子に座った状態等のユーザが前を向いている状態を想定している。一方で、歯科医等が患者の歯牙を撮影する場合には、ユーザ（患者）が仰向けになっている状態で撮影が行われる場合がある。このような場合には、鉛直軸と歯牙との関係がユーザが前を向いている状態と異なるため正しく判定を行うことができない可能性がある。以下では、このような場合にも正しく判定を行うことができる方法を説明する。

【0117】

図２４は、起立した状態のユーザＢＤに対する射影面の関係を示す図である。ここで、射影面は、ユーザＢＤを基準とした仮想の平面であり、前額面１１０、矢状面１１１、水平面１１２の３つからなる。前額面１１０は、ユーザＢＤの身体を前後に二分し、かつ床面に垂直な面である。矢状面１１１は、ユーザＢＤの身体を前から後ろに通り、ユーザＢＤの身体を左右に二分し、かつ床面と垂直な面である。水平面１１２は、床面と平行な面であり、ユーザＢＤの身体を上下に二分する面であり、前額面１１０および矢状面１１１の双方に垂直な面である。

【0118】

また、運動軸は垂直軸、矢状－水平軸、前額－水平軸に分けられる。図２４に示すｘ軸は「前額‐水平軸」である。前額－水平軸は、左右方向の軸であり、矢状面１１１での前後屈、及び屈曲伸展等の運動の回転軸である。図２４に示すｙ軸は「矢状‐水平軸」である。矢状‐水平軸は、前後方向の軸であり、前額面１１０での側屈、及び内外転等の運動の回転軸である。図２４に示すｚ軸は「垂直軸」である。垂直軸は、垂直方向の軸であり、水平面１１２での回旋等の運動の回転軸である。

【0119】

図２５及び図２６は、口腔内カメラ１０の使用時におけるユーザＢＤの姿勢の例を示す図である。

【0120】

図２５に示すように、ユーザＢＤが口腔内カメラ１０を直立した状態または椅子に座った姿勢で使用する場合、ユーザは起立した状態と見做すことができる。このとき、ユーザＢＤの身体の垂直軸Ｚ０（ｚ軸）は床面に対して垂直であり、ユーザＢＤの身体の垂直軸Ｚ０と重力加速度の作用方向は一致している。

【0121】

一方、図２６に示すように、例えば、ユーザＢＤが歯科治療台に載った状態で歯科医が口腔内カメラ１０を使用する場合、ユーザＢＤの身体の上半身の前額面１１０は、治療台の背凭れに沿って傾く。すなわち、ユーザＢＤの前額面１１０が傾斜したことで、ユーザＢＤが直立した状態での身体の垂直軸Ｚ０に対して、背凭れに沿って上半身を傾けた状態のユーザの垂直軸Ｚ１は傾くことになる。

【0122】

図２７は、このようにユーザＢＤの姿勢が変化する場合の画像処理部１０２における画像処理のフローチャートである。まず、画像処理部１０２は、口腔内カメラ１０の初期姿勢を取得し、保持する（Ｓ２３１）。具体的には、ユーザの操作に基づき、ユーザの操作が行われた状態における口腔内カメラ１０の姿勢が初期姿勢として取得される。例えば、携帯端末７０に対するユーザの操作に基づき初期姿勢が取得される。または、口腔内カメラ１０に設けられたボタン等が押下されることで初期姿勢が取得される。図２８は、初期姿勢の例を示す図である。例えば、図２８に示すように、六軸センサである位置センサ９０で得られた、鉛直方向ＬＶを基準とした三軸の姿勢情報が初期姿勢として取得される。この初期姿勢は、携帯端末７０又は口腔内カメラ１０に保持される。

【0123】

図２９は、携帯端末７０における初期姿勢の設定画面の一例を示す図である。図２９に示すように、例えば、初期姿勢として、歯牙と口腔内カメラ１０との関係が予め定められた関係となってる状態における口腔内カメラ１０の姿勢が取得される。図２９に示す例では、初期姿勢は、口腔内カメラ１０の撮像面Ｓが前歯の前面と平行となり、かつ、撮像面Ｓにおける平面視において口腔内カメラ１０の軸方向ＬＢが前歯の高さ方向と一致する状態である。なお、初期姿勢が取得される状態は、この例に限定されず、いずれか１以上歯牙を基準とした任意の状態でよい。例えば、前歯以外の歯牙が用いられてもよい。また、ここでは、「口腔内カメラ１０の軸方向ＬＢが前歯の高さ（縦）方向と一致する状態」が指定されているが、「口腔内カメラ１０の軸方向ＬＢが前歯の高さ方向とが直交する状態（口腔内カメラ１０の軸方向が前歯の幅（横）方向とが一致する状態）」が用いられてもよい。

【0124】

また、ここの述べる平行、一致、及び直交とは、厳密なものである必要はなく、略平行、略一致、及び略直交であってもよい。言い換えると、携帯端末７０は上記の状態をとるようにユーザに指示し、初期姿勢に用いられる状態は、当該指示に基づきユーザがとった口腔内カメラ１０の姿勢であってもよい。

【0125】

図３０は、携帯端末７０における初期姿勢の設定画面の別の例を示す図である。図３０に示すように、例えば、初期姿勢として、ユーザの姿勢と口腔内カメラ１０の姿勢との関係が予め定められた関係となってる状態における口腔内カメラ１０の姿勢が取得される。図３０に示す例では、初期姿勢は、ユーザＢＤの前額面１１０と撮影部の撮像面Ｓとが平行であり、かつ、撮像面Ｓにおける平面視においてユーザＢＤの垂直軸Ｚ１と第２方向ＬＢとが一致する状態である。

【0126】

なお、初期姿勢が取得される状態は、この例に限定されず、ユーザＢＤの姿勢と口腔内カメラ１０の姿勢とを対応付け可能な任意の姿勢であってもよい。また、ユーザＢＤの姿勢は、前額面１１０、矢状面１１１、水平面１１２、垂直軸、矢状－水平軸、及び、前額－水平軸のうちの１つ又は複数を用いて定義されてもよい。例えば、ここでは、「口腔内カメラ１０の軸方向ＬＢが垂直軸Ｚ１と一致する状態」が指定されているが、「口腔内カメラ１０の軸方向ＬＢが垂直軸Ｚ１とが直交する状態（軸方向ＬＢが前額‐水平軸とが一致する状態）」が用いられてもよい。

【0127】

次に、上述した歯牙の撮影が行われる。具体的には、画像処理部１０２は、歯牙の撮影中に得られた口腔内カメラ１０の姿勢を、初期姿勢を用いて補正する（Ｓ２３２）。つまり、画像処理部１０２は、初期姿勢を用いて、口腔内カメラ１０の姿勢がユーザが前を向いている状態と同じになるように口腔内カメラ１０の姿勢を補正する。

【0128】

図３１は、初期姿勢の例を示す図である。図３２は、姿勢の補正の例を示す図である。なお、ここではｙ軸の情報を補正する例を示すが、他の軸の情報を補正する場合も同様である。図３１に示すように初期姿勢として鉛直方向ＬＶとｙ軸との角度δが得られた場合、画像処理部１０２は、図３２に示すように、鉛直方向ＬＶを鉛直方向ＬＶ０に補正する。また、鉛直方向ＬＶの代わりに補正後の鉛直方向ＬＶ０を用いて、撮影方向の判定処理等を行う。例えば、図３２に示すように角度αとして、補正後の鉛直方向ＬＶ０と撮像面Ｓとの角度が算出される。

【0129】

なお、画像処理部１０２は、鉛直方向ＬＶを補正するのではなく、位置センサ９０で得られた姿勢そのものを補正してもよいし、演算中の値（判定にも用いる角度等）を補正してもよい。また、この補正処理の一部又は全ては、画像処理部１０２（携帯端末７０）で行われてもよいし、口腔内カメラ１０内で行われてもよい。

【0130】

最後に、画像処理部１０２は、補正後の姿勢に基づき、画像データの回転等の処理を行う（Ｓ２３３）。具体的には、画像処理部１０２は、補正後の姿勢を用いて、図５、図１４、図１６又は図１９に示す処理を行う。

【0131】

以上により、画像処理部１０２は、ユーザの姿勢に応じて口腔内カメラ１０の姿勢を補正することで、判定の精度を向上できる。

【0132】

以上のように、図１、２及び４等に示すように、口腔内カメラシステムは、ハンドル部１０ｂと、画像データを生成する撮像素子を含むヘッド部１０ａと、ハンドル部１０ｂとヘッド部１０ａとを接続するネック部１０ｃとを含み、口腔内の歯牙を撮影して画像データを生成する撮影部（例えば口腔内カメラ１０）と、撮影部（例えば口腔内カメラ１０）の姿勢を検出する位置センサ９０と、位置センサ９０で検出された撮影部（例えば口腔内カメラ１０）の姿勢に基づき、画像データを画像処理する画像処理部１０２と、画像データを表示する表示部１０３と、を備える。例えば、図５～図１３Ｃ等に示すように、画像処理部１０２は、撮影部（例えば口腔内カメラ１０）の光軸ＬＡに垂直な撮像面Ｓと、鉛直軸に沿う鉛直上向きの第１方向ＬＶ（又はＬＳ）とがなす第１角度αが予め定められた第２角度未満（例えば４５度）の場合（Ｓ１５１でＹｅｓ）、ハンドル部１０ｂからヘッド部１０ａに向かう第２方向ＬＢと、第１方向ＬＳとがなす第３角度θだけ画像データを回転することで、鉛直軸に対して鉛直上側が画像の上側になるように画像データを回転する（Ｓ１５２）。

【0133】

これによれば、当該口腔内カメラシステムは、撮影された歯牙の画像を適切に表示できる。例えば、ユーザは、上下の関係が実際と同じ画像を確認できるので、直感的に歯牙の状態を把握できる。

【0134】

例えば、図５～図１３Ｃ等に示すように、画像処理部１０２は、第１角度αが第２角度（例えば４５度）以上の場合、画像データの内のヘッド部側に対応する側が画像の上側になるように画像データを回転する（Ｓ１５３）。

【0135】

例えば、図１６～図１８等に示すように、画像処理部１０２は、第１角度αが第２角度（例えば４５度）未満の場合には（Ｓ２０１でＹｅｓ）、表示部１０３に表示されている画像が、撮影部（例えば口腔内カメラ１０）がユーザの口腔内において歯牙の側面を撮影した画像であることを表示部１０３に表示し（Ｓ２０２）、第１角度αが第２角度（例えば４５度）以上の場合には（Ｓ２０１でＮｏ）、表示部１０３に表示されている画像が、撮影部（例えば口腔内カメラ１０）がユーザの口腔内において歯牙を歯冠側から撮影した画像であることを表示部１０３に表示する（Ｓ２０３）。

【0136】

これによれば、当該口腔内カメラシステムは、歯牙の撮影方向を表示する。これにより、ユーザは、現在撮影中の歯牙の撮影方向を容易に認識できるので、ユーザの利便性を向上できる。

【0137】

例えば、図１９～図２３等に示すように、画像処理部１０２は、第１角度αと第２角度（例えば４５度）との差が予め定められた値未満の場合（Ｓ２１１でＹｅｓ）、画像データから歯牙領域と、歯牙領域に沿った歯茎領域を検出し（Ｓ２１２）、歯茎領域が歯牙領域に対して頬側と舌側の両側に検出された場合には（Ｓ２１３でＹｅｓ）、画像データの内のヘッド部１０ａ側に対応する側が画像の上側になるように画像データを回転する（Ｓ２２０）。画像処理部１０２は、歯茎領域が歯牙領域に対して頬側または舌側の一方の側のみ検出された場合には（Ｓ２１３でＮｏ）、第１方向ＬＳと、撮影部の光軸ＬＡに沿い撮影部から被写体に向かう第３方向とがなす第４角度γの余弦（ｃｏｓγ）を算出し（Ｓ２１４）、算出した余弦の値が正の場合（Ｓ２１５でＹｅｓ）、画像データにおいて歯茎領域より歯牙領域が下になるように画像データを回転し（Ｓ２１６）、余弦の値が負の場合（Ｓ２１５でＮｏ）、画像データにおいて歯茎領域より歯牙領域が上になるように画像データを回転する（Ｓ２１７）。

【0138】

これによれば、当該口腔内カメラシステムは、第１角度αが第２角度（例えば４５度）付近の場合には、歯茎領域と歯牙領域との関係と、第４角度γの余弦（ｃｏｓγ）とに基づき、画像データを回転する。これにより、当該口腔内カメラシステムは、第１角度αが第２角度（例えば４５度）付近の場合における判定精度を向上できる。

【0139】

例えば、図５等に示すように、画像処理部１０２は、さらに画像データの左右を反転し、表示部１０３は、回転及び反転後の画像データを表示する（Ｓ１５５）。これによれば、例えば、ユーザは、鏡に映した場合と同じ状態で、自身の歯牙を確認できるので、直感的に歯牙の状態を把握できる。

【0140】

例えば、図５等に示すように、画像処理部１０２は、さらに、表示部１０３の姿勢に基づき、画像データを回転する（Ｓ１５４）。これによれば、例えば、ユーザは、上下の関係が実際と同じ画像を確認できるので、直感的に歯牙の状態を把握できる。

【0141】

例えば、図２４～図３２に示すように、撮影部の所定の姿勢である初期姿勢を取得し（Ｓ２３１）、初期姿勢を用いて第１方向ＬＶ（又はＬＳ）を補正する（Ｓ２３２）。

【0142】

これによれば、当該口腔内カメラシステムは、ユーザの姿勢に応じて撮影部の姿勢を補正することで、処理の精度を向上できる。

【0143】

例えば、所定の姿勢は、ユーザＢＤの姿勢と撮影部の姿勢とが予め定められた関係となる撮影部の姿勢である。

【0144】

例えば、所定の姿勢は、ユーザＢＤの前額面１１０と撮影部の撮像面Ｓとが平行であり、かつ、撮像面Ｓにおける平面視においてユーザＢＤの垂直軸Ｚ１と第２方向ＬＢとが一致又は直交する状態である。

【0145】

例えば、所定の姿勢は、予め定められた歯牙（例えば前歯）と撮影部の撮像面Ｓとを平行に正対させ、かつ、撮像面Ｓにおける平面視において第２方向ＬＢと予め定められた歯牙の高さ方向とが一致又は直交する状態である。

【0146】

これによれば、ユーザは初期姿勢の取得を容易に行える。また、初期姿勢の精度が向上することで補正の精度を向上できる。

【0147】

以上、本開示の実施の形態に係る口腔内カメラシステムについて説明したが、本開示は、この実施の形態に限定されるものではない。

【0148】

例えば、上記説明では、歯牙を撮影することを主目的とした口腔内カメラ１０を用いる例を説明したが、口腔内カメラ１０は、カメラを備える口腔内ケア機器であってもよい。例えば、口腔内カメラ１０は、カメラを備える口腔内洗浄機等であってもよい。

【0149】

また、上記実施の形態に係る口腔内カメラシステムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

【0150】

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

【0151】

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0152】

また、本開示は、口腔内カメラシステムにより実行される画像表示方法等として実現されてもよい。また、本開示は、口腔内カメラシステムに含まれる口腔内カメラ、携帯端末、又はクラウドサーバとして実現されてもよい。

【0153】

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

【0154】

また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

【0155】

以上、一つまたは複数の態様に係る口腔内カメラシステム等について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

【産業上の利用可能性】

【0156】

本開示は、口腔内カメラシステムに適用できる。

【符号の説明】

【0157】

１０ 口腔内カメラ
１０ａ ヘッド部
１０ｂ ハンドル部
１０ｃ ネック部
１２ 撮影光学系
１４ 撮像素子
２６Ａ 第１のＬＥＤ
２６Ｂ 第２のＬＥＤ
２６Ｃ 第３のＬＥＤ
２６Ｄ 第４のＬＥＤ
３６、４０ アクチュエータ
５０ 中央制御部
５２ 画像処理部
５４ ＬＥＤ制御部
５６ レンズドライバ
５８ 無線通信モジュール
６０ 電源制御部
６２ コントローラ
６４ メモリ
６６ 電池
６８ コイル
６９ 充電器
７０ 携帯端末
７２ タッチスクリーン
８０ クラウドサーバ
９０ 位置センサ
１０１ 位置センサ
１０２ 画像処理部
１０３ 表示部
１１０ 前額面
１１１ 矢状面
１１２ 水平面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12A】

【図12B】

【図13A】

【図13B】

【図13C】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】