特許 7158234 口内状態判定装置、口内状態判定方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-13

(45)【発行日】2022-10-21

(54)【発明の名称】口内状態判定装置、口内状態判定方法及びプログラム

(51)【国際特許分類】

   A61C 19/04 20060101AFI20221014BHJP

【ＦＩ】

A61C19/04 Z

A61C19/04 J

【請求項の数】 5

(21)【出願番号】P 2018187666

(22)【出願日】2018-10-02

(65)【公開番号】P2020054646

(43)【公開日】2020-04-09

【審査請求日】2021-06-25

(73)【特許権者】

【識別番号】000006769

【氏名又は名称】ライオン株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100152272

【弁理士】

【氏名又は名称】川越 雄一郎

(74)【代理人】

【識別番号】100153763

【弁理士】

【氏名又は名称】加藤 広之

(72)【発明者】

【氏名】鈴木 大輝

(72)【発明者】

【氏名】木村 光夫

(72)【発明者】

【氏名】鈴木 苗穂

(72)【発明者】

【氏名】柚鳥 眞里

(72)【発明者】

【氏名】石田 和裕

(72)【発明者】

【氏名】岡 謙吾

【審査官】黒田 正法

(56)【参考文献】

【文献】国際公開第２０１３／０１８５２２（ＷＯ，Ａ１）

【文献】国際公開第２０１５／００８４９１（ＷＯ，Ａ１）

【文献】特表２００９－５４３６５４（ＪＰ，Ａ）

【文献】特開２０１８－１２６５５９（ＪＰ，Ａ）

【文献】国際公開第２０１７／１７５６７３（ＷＯ，Ａ１）

【文献】特開２０１４－０３６８８０（ＪＰ，Ａ）

【文献】独国特許出願公開第１０２０１２１０３９７０（ＤＥ，Ａ１）

【文献】米国特許出願公開第２００８／００２６３４０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／０１５１０２６（ＵＳ，Ａ１）

【文献】特開２０１６－１１９９５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｃ １９／０４

(57)【特許請求の範囲】

【請求項1】

１本以上の歯と、歯茎のうち当該歯に対応する部分とが撮像された画像のなかから、歯を１本ずつ識別する識別部と、
前記識別部によって識別された結果に基づいて、前記画像に撮像されている歯茎のうち、前記識別部によって識別された歯に対応する部分の歯茎の状態を、前記識別部によって識別された歯ごとに、少なくとも２種類の評価項目によって判定する第１判定部と、
前記第１判定部の判定結果を、前記評価項目ごとに、前記画像に撮像されている複数の歯について統計演算することにより、前記画像に撮像されている歯茎全体の状態を判定する第２判定部と、
前記第１判定部による判定結果又は前記第２判定部による判定結果を提示する提示部と、
を備える口内状態判定装置。

【請求項2】

前記第１判定部は、
前記歯茎の状態を、少なくとも３段階の評価段階によって判定する
請求項１に記載の口内状態判定装置。

【請求項3】

前記第１判定部による判定結果又は前記第２判定部による判定結果に基づいて、判定結果に応じた口内ケア情報を取得する口内ケア情報取得部
をさらに備え、
前記提示部は、前記口内ケア情報取得部が取得する口内ケア情報をさらに提示する
請求項１又は請求項２に記載の口内状態判定装置。

【請求項4】

コンピュータが、１本以上の歯と、歯茎のうち当該歯に対応する部分とが撮像された画像のなかから、歯を１本ずつ識別する識別ステップと、
コンピュータが、前記識別ステップにおいて識別された結果に基づいて、前記画像に撮像されている歯茎のうち、前記識別ステップにおいて識別された歯に対応する部分の歯茎の状態を、前記識別ステップにおいて識別された歯ごとに、少なくとも２種類の評価項目によって判定する第１判定ステップと、
コンピュータが、前記第１判定ステップにおける判定結果を、前記評価項目ごとに、前記画像に撮像されている複数の歯について統計演算することにより、前記画像に撮像されている歯茎全体の状態を判定する第２判定ステップと、
コンピュータが、前記第１判定ステップにおいて判定された判定結果又は前記第２判定ステップにおいて判定された判定結果を提示する提示ステップと、
を有する口内状態判定方法。

【請求項5】

コンピュータに、
１本以上の歯と、歯茎のうち当該歯に対応する部分とが撮像された画像のなかから、歯を１本ずつ識別する識別ステップと、
前記識別ステップにおいて識別された結果に基づいて、前記画像に撮像されている歯茎のうち、前記識別ステップにおいて識別された歯に対応する部分の歯茎の状態を、前記識別ステップにおいて識別された歯ごとに、少なくとも２種類の評価項目によって判定する第１判定ステップと、
前記第１判定ステップにおける判定結果を、前記評価項目ごとに、前記画像に撮像されている複数の歯について統計演算することにより、前記画像に撮像されている歯茎全体の状態を判定する第２判定ステップと、
前記第１判定ステップにおいて判定された判定結果又は前記第２判定ステップにおいて判定された判定結果を提示する提示ステップと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、口内状態判定装置、口内状態判定方法及びプログラムに関する。

【背景技術】

【0002】

従来、歯肉組織の画像を評価する技術が開示されている（例えば、特許文献１を参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特表２００９－５４３６５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に示すような技術によると、画像の色値に基づいて歯肉組織の画像を抽出することにより、その健康状態を評価する。しかしながら、特許文献１に示すような技術によると、歯肉組織の位置や形状を認識することが難しい場合があり、このような場合には、歯科医や歯科衛生士などの専門家が目視で評価した場合に比べて、その評価結果の精度が低いという課題があった。

【課題を解決するための手段】

【0005】

本発明の一実施形態は、１本以上の歯と、歯茎のうち当該歯に対応する部分とが撮像された画像のなかから、歯を１本ずつ識別する識別部と、前記識別部によって識別された結果に基づいて、前記画像に撮像されている歯茎のうち、前記識別部によって識別された歯に対応する部分の歯茎の状態を、前記識別部によって識別された歯ごとに、少なくとも２種類の評価項目によって判定する第１判定部と、前記第１判定部の判定結果を、前記評価項目ごとに、前記画像に撮像されている複数の歯について統計演算することにより、前記画像に撮像されている歯茎全体の状態を判定する第２判定部と、前記第１判定部による判定結果又は前記第２判定部による判定結果を提示する提示部と、を備える口内状態判定装置である。

【0006】

本発明の一実施形態は、上述の口内状態判定装置において前記第１判定部は、前記歯茎の状態を、少なくとも３段階の評価段階によって判定する。

【0009】

本発明の一実施形態は、上述の口内状態判定装置において前記第１判定部による判定結果又は前記第２判定部による判定結果に基づいて、判定結果に応じた口内ケア情報を取得する口内ケア情報取得部をさらに備え、前記提示部は、前記口内ケア情報取得部が取得する口内ケア情報をさらに提示する。

【0010】

本発明の一実施形態は、コンピュータが、１本以上の歯と、歯茎のうち当該歯に対応する部分とが撮像された画像のなかから、歯を１本ずつ識別する識別ステップと、
コンピュータが、前記識別ステップにおいて識別された結果に基づいて、前記画像に撮像されている歯茎のうち、前記識別ステップにおいて識別された歯に対応する部分の歯茎の状態を、前記識別ステップにおいて識別された歯ごとに、少なくとも２種類の評価項目によって判定する第１判定ステップと、コンピュータが、前記第１判定ステップにおける判定結果を、前記評価項目ごとに、前記画像に撮像されている複数の歯について統計演算することにより、前記画像に撮像されている歯茎全体の状態を判定する第２判定ステップと、コンピュータが、前記第１判定ステップにおいて判定された判定結果又は前記第２判定ステップにおいて判定された判定結果を提示する提示ステップと、を有する口内状態判定方法である。

【0011】

本発明の一実施形態は、コンピュータに、１本以上の歯と、歯茎のうち当該歯に対応する部分とが撮像された画像のなかから、歯を１本ずつ識別する識別ステップと、前記識別ステップにおいて識別された結果に基づいて、前記画像に撮像されている歯茎のうち、前記識別ステップにおいて識別された歯に対応する部分の歯茎の状態を、前記識別ステップにおいて識別された歯ごとに、少なくとも２種類の評価項目によって判定する第１判定ステップと、前記第１判定ステップにおける判定結果を、前記評価項目ごとに、前記画像に撮像されている複数の歯について統計演算することにより、前記画像に撮像されている歯茎全体の状態を判定する第２判定ステップと、前記第１判定ステップにおいて判定された判定結果又は前記第２判定ステップにおいて判定された判定結果を提示する提示ステップと、を実行させるためのプログラムである。

【発明の効果】

【0012】

本発明によれば、歯茎の状態の判定精度を向上させることができる口内状態判定装置、口内状態判定方法及びプログラムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】第１実施形態の口内状態判定システムの機能構成の一例を示す図である。

【図2】本実施形態の口内状態判定システムの動作の一例を示す図である。

【図3】本実施形態のホーム画面の一例を示す図である。

【図4】本実施形態の撮影画面の一例を示す図である。

【図5】本実施形態の画像確認画面の一例を示す図である。

【図6】本実施形態の識別部による歯Ｔの識別結果の一例を示す図である。

【図7】本実施形態の歯毎画像の一例を示す図である。

【図8】本実施形態の歯茎の色の評価段階の一例を示す図である。

【図9】本実施形態の歯茎の腫れの評価段階の一例を示す図である。

【図10】本実施形態の歯茎下がりの評価段階の一例を示す図である。

【図11】本実施形態の第１の判定結果画面の一例を示す図である。

【図12】本実施形態の第２の判定結果画面の一例を示す図である。

【図13】第２実施形態の口内状態判定システムの機能構成の一例を示す図である。

【図14】本実施形態の口内ケア情報表示画面の一例を示す図である。

【発明を実施するための形態】

【0014】

［第１実施形態］
以下、図面を参照して本実施形態の口内状態判定システム１について説明する。
図１は、第１実施形態の口内状態判定システム１の機能構成の一例を示す図である。
口内状態判定システム１は、口内状態判定装置１０と、端末装置２０とを備える。口内状態判定装置１０と端末装置２０とは、ネットワークＮを介して互いに接続される。
口内状態判定装置１０は、例えば、サーバ装置によって構成される。端末装置２０は、例えば、スマートフォンやタブレットによって構成される。

【0015】

［端末装置２０の機能構成］
端末装置２０は、カメラＣＡＭと、表示部ＤＰとを備える。カメラＣＡＭは、端末装置２０の操作者の操作に基づいて撮像を行う。表示部ＤＰは、例えば、液晶ディスプレイを備えており、カメラＣＡＭによって撮像される画像や、口内状態判定装置１０からネットワークＮを介して送信される情報を表示する。
端末装置２０は、カメラＣＡＭによって撮像された画像などの情報を、ネットワークＮを介して口内状態判定装置１０に送信する。
なお、口内状態判定装置１０と端末装置２０との間において、画像や文字などの情報は、上述したようにネットワークＮを介して通信されるが、以下の説明においては、ネットワークＮを介するとの説明は省略する。

【0016】

本実施形態の一例では、端末装置２０は、口内状態判定装置１０に対して口内画像ＯＰを送信する。口内画像ＯＰとは、被験者の口内が撮像された画像である。一例として、口内画像ＯＰとは、端末装置２０のカメラＣＡＭによって撮像された、端末装置２０の操作者の口内の画像である。この口内画像ＯＰには、１本以上の歯Ｔと、この歯Ｔの周囲の歯茎Ｇとが撮像されている。
なお、以下の説明において、歯Ｔの周囲の歯茎Ｇのことを、歯茎Ｇのうち、歯Ｔに対応する部分とも称する。換言すれば、口内画像ＯＰとは、１本以上の歯Ｔと、歯茎Ｇのうち当該歯Ｔに対応する部分とが撮像された画像である。
また、以下の説明においては、口内画像ＯＰに、１８本の歯Ｔ（歯Ｔ１～歯Ｔ１８）が撮像されている場合を一例として説明する。

【0017】

［口内状態判定装置１０の機能構成］
口内状態判定装置１０は、通信部１１０と、画像取得部１２０と、識別部１３０と、第１判定部１４０と、第２判定部１５０とを備える。

【0018】

通信部１１０は、端末装置２０との通信を行う。以下の通信部１１０は、端末装置２０から送信される情報を受信する。また、通信部１１０は、口内状態判定装置１０において生成された情報を端末装置２０に送信する。
通信部１１０は、端末装置２０から受信した情報を、画像取得部１２０に出力する。本実施形態の一例では、通信部１１０が受信する情報には、上述した口内画像ＯＰが含まれている。
画像取得部１２０は、通信部１１０が受信した情報のうち、口内画像ＯＰを取得する。画像取得部１２０は、取得した口内画像ＯＰを、識別部１３０に出力する。

【0019】

識別部１３０は、口内画像ＯＰに撮像されている歯Ｔを１本ずつ識別する。上述したように、口内画像ＯＰには、１本以上の歯Ｔが撮像されている。上述の一例のように、口内画像ＯＰに、１８本の歯Ｔが撮像されている場合には、識別部１３０は、これら歯Ｔ１～歯Ｔ１８を、１本ずつ識別する。
具体的な一例として、識別部１３０は、口内画像ＯＰのうち歯Ｔが撮像されている領域の座標値を、歯Ｔごとに、歯Ｔの識別結果として出力する。
なお、以下の説明において、識別部１３０が識別した１本ずつの歯Ｔの画像のことを、歯毎画像ＳＴＰとも称する。
識別部１３０は、口内画像ＯＰの歯Ｔの識別結果を、第１判定部１４０に出力する。

【0020】

上述したように、口内画像ＯＰには、歯Ｔと歯茎Ｇとが撮像されている。
第１判定部１４０は、口内画像ＯＰに撮像されている歯茎Ｇのうち、識別部１３０によって識別された歯Ｔに対応する部分の歯茎Ｇの状態を、識別部１３０によって識別された歯Ｔごとに判定する。
上述の一例の場合、第１判定部１４０は、歯Ｔ１について、歯Ｔ１に対応する歯茎Ｇ１の状態を判定する。また、第１判定部１４０は、歯Ｔ２、歯Ｔ３、…、歯Ｔ１８について、それぞれの歯Ｔに対応する歯茎Ｇ２、歯茎Ｇ３、…、歯茎Ｇ１８の状態を判定する。
第１判定部１４０は、歯Ｔごとに判定した歯茎Ｇの状態を、歯毎判定結果ＲＳ１として第２判定部１５０に出力する。また、第１判定部１４０は、歯毎判定結果ＲＳ１を通信部１１０に出力する。

【0021】

第２判定部１５０は、第１判定部１４０の歯毎判定結果ＲＳ１に基づいて、口内画像ＯＰに撮像されている歯茎Ｇ全体の状態を判定する。
上述の一例の場合、歯毎判定結果ＲＳ１には、歯茎Ｇ１～歯茎Ｇ１８のそれぞれの状態を示す情報が含まれている。第２判定部１５０は、これら歯茎Ｇ１～歯茎Ｇ１８のそれぞれの状態を示す情報に基づいて、歯茎Ｇ全体の状態を判定する。
第２判定部１５０は、歯茎Ｇ全体の状態の判定結果を歯茎全体判定結果ＲＳ２として１１０に出力する。

【0022】

通信部１１０は、第１判定部１４０による歯毎判定結果ＲＳ１又は第２判定部１５０による歯茎全体判定結果ＲＳ２を提示する。ここで、判定結果を提示することには、判定結果を端末装置２０に送信することや、口内状態判定装置１０が備える表示装置（不図示）に表示することなどが含まれる。

【0023】

［口内状態判定システム１の動作（運用段階）］
次に、図２を参照して、口内状態判定システム１の動作の一例について説明する。
図２は、本実施形態の口内状態判定システム１の動作の一例を示す図である。

【0024】

（ステップＳ２１０）端末装置２０は、ホーム画面（画像Ｐ１）を表示する。図３を参照して、ホーム画面（画像Ｐ１）の一例を説明する。

【0025】

図３は、本実施形態のホーム画面の一例を示す図である。ホーム画面（画像Ｐ１）には、前回の判定結果の表示操作を受け付ける画像（画像Ｐ１１）と、前回の判定結果を示す画像（画像Ｐ１２、画像Ｐ１３）と、口内状態の判定の開始操作を受け付ける画像（画像Ｐ１４）とが表示される。口内状態の判定の開始操作を受け付ける画像（画像Ｐ１４）が操作者によって操作（例えば、タップ操作）されると、端末装置２０は、処理をステップＳ２２０に進める。

【0026】

（ステップＳ２２０）図２に戻り、端末装置２０は、撮影画面（画像Ｐ２）を表示する。図４を参照して、撮影画面（画像Ｐ２）の一例を説明する。

【0027】

図４は、本実施形態の撮影画面の一例を示す図である。撮影画面（画像Ｐ２）には、カメラＣＡＭによって撮影されている動画像が、いわゆるライブビュー形式によって表示される。また、撮影画面（画像Ｐ２）には、撮影ガイド画像（画像Ｐ２１～画像Ｐ２３）と、撮影操作を受け付ける画像（画像Ｐ２４）とが表示される。
ここで、撮影ガイド画像（画像Ｐ２１）とは、被験者の口唇の外形の位置合わせをするためのガイド枠である。被験者は、口唇を左右に引き、歯Ｔと歯茎Ｇとが表示部ＤＰに表示される状態にして、このガイド枠に口唇の輪郭を合わせる。
撮影ガイド画像（画像Ｐ２２）とは、被験者の上下の歯Ｔの噛み合わせ位置の位置合わせをするための水平ラインである。被験者は、この水平ラインに上下の歯Ｔの噛み合わせ位置を合わせる。
撮影ガイド画像（画像Ｐ２３）とは、被験者の顔正面（正中）の位置合わせをするための垂直ラインである。被験者は、この垂直ラインに顔正面の位置を合わせる。
撮影操作を受け付ける画像（画像Ｐ２４）が操作者によって操作（例えば、タップ操作）されると、端末装置２０は、表示部ＤＰに表示されるカメラＣＡＭの撮影画像を、動画像から静止画像に切り替え、処理をステップＳ２３０に進める。

【0028】

（ステップＳ２３０）図２に戻り、端末装置２０は、画像確認画面（画像Ｐ３）を表示する。図５を参照して、画像確認画面（画像Ｐ３）の一例を説明する。

【0029】

図５は、本実施形態の画像確認画面の一例を示す図である。画像確認画面（画像Ｐ３）には、カメラＣＡＭによって撮影された静止画像が表示される。また、画像確認画面（画像Ｐ３）には、画像確認のコメント文（画像Ｐ３１）と、撮影ガイド画像（画像Ｐ３２）と、画像の拡大縮小操作のコメント文（画像Ｐ３３）と、取り直し操作を受け付ける画像（画像Ｐ３４）と、判定開始操作を受け付ける画像（画像Ｐ３５）とが表示される。
画像確認画面（画像Ｐ３）に表示される静止画像が操作者によって操作（例えば、ピンチアウト操作又はピンチイン操作）されると、端末装置２０は、表示部ＤＰに表示される静止画像のサイズを、拡大又は縮小する。また、取り直し操作を受け付ける画像（画像Ｐ３４）が操作者によって操作（例えば、タップ操作）されると、端末装置２０は、処理をステップＳ２２０に戻す。また、判定開始操作を受け付ける画像（画像Ｐ３５）が操作者によって操作（例えば、タップ操作）されると、端末装置２０は、処理をステップＳ２４０に進める。

【0030】

（ステップＳ２４０）図２に戻り、端末装置２０は、ステップＳ２３０において確認された静止画像を口内画像ＯＰとして口内状態判定装置１０に送信する。

【0031】

（ステップＳ１１０）口内状態判定装置１０の通信部１１０及び画像取得部１２０は、ステップＳ２４０において端末装置２０から送信された口内画像ＯＰを取得する。

【0032】

（ステップＳ１２０）口内状態判定装置１０の識別部１３０は、ステップＳ１１０において取得された口内画像ＯＰについて、歯Ｔを１本ずつ識別する。識別部１３０による歯Ｔの識別結果の一例を図６に示す。

【0033】

図６は、本実施形態の識別部１３０による歯Ｔの識別結果の一例を示す図である。識別部１３０は、口内画像ＯＰに含まれる１本ずつの歯Ｔに対応する歯毎画像ＳＴＰを、口内画像ＯＰから切り出す。本実施形態の一例では、識別部１３０は、歯Ｔ１～歯Ｔ１８の１８本の歯Ｔを１本ずつ識別している。この一例の場合、識別部１３０は、これら歯Ｔ１から歯Ｔ１８のうちｎ番目（ｎは自然数）の歯Ｔｎについての画像を、歯毎画像ＳＴＰｎとして口内画像ＯＰから切り出す。例えば、識別部１３０は、歯Ｔ１についての画像を、歯毎画像ＳＴＰ１として口内画像ＯＰから切り出す。

【0034】

（ステップＳ１３０）図２に戻り、口内状態判定装置１０の第１判定部１４０は、ステップＳ１２０において識別された歯Ｔそれぞれに対応する歯茎Ｇの状態を判定する。第１判定部１４０は、歯毎画像ＳＴＰに基づいて歯茎Ｇの状態を判定する。歯毎画像ＳＴＰの一例を図７に示す。

【0035】

図７は、本実施形態の歯毎画像ＳＴＰの一例を示す図である。歯毎画像ＳＴＰには、歯領域ＴＰと、歯茎領域ＧＰとが含まれる。ここで、歯毎画像ＳＴＰには、口唇を含まないことが望ましい。口唇を含まない方法としては、例えば、口唇を含まないように歯茎Ｇ２からの所定長さで口内画像ＯＰから切り出す方法や、口唇を認識するように学習させた機械学習モデルによって口唇を含まないように口内画像ＯＰから切り出す方法を使用できる。第１判定部１４０は、この歯毎画像ＳＴＰに含まれる歯茎領域ＧＰの状態を判定する。
なお、第１判定部１４０は、歯茎領域ＧＰのうち、歯間乳頭部（例えば、歯茎Ｇ１及び歯茎Ｇ３）や、歯肉辺縁（例えば、歯茎Ｇ２）の部分の状態を判定対象に含めて、歯茎領域ＧＰの状態を判定してもよい。また、被験者が撮影画像（画像Ｐ２）を撮影する場合に歯茎領域ＧＰが口唇により十分に露出されない可能性がある。その場合には、歯間乳頭部および歯肉辺縁の部分のみ、または、歯間乳頭部または歯肉辺縁のいずれか一方の部分のみで歯茎領域ＧＰの状態を判定してもよい。この場合において、第１判定部１４０は、歯茎Ｇ１～歯茎Ｇ３のうち、最も状態が悪い部分の評価スコアを、この歯Ｔについての評価スコアとしてもよい。

【0036】

第１判定部１４０は、歯茎Ｇの状態を、少なくとも２種類の評価項目ＥＶによって判定する。本実施形態の一例では、第１判定部１４０は、歯茎Ｇの色、腫れ、歯茎下がりの３種類の評価項目ＥＶによって、歯茎Ｇの状態を判定する。
第１判定部１４０による評価項目ごとの評価段階ＬＶの一例について図８から図１０を参照して説明する。

【0037】

図８は、本実施形態の歯茎Ｇの色の評価段階ＬＶの一例を示す図である。第１判定部１４０は、歯茎Ｇの色を評価スコア０～評価スコア２の３段階の評価段階ＬＶによって評価する。
図９は、本実施形態の歯茎Ｇの腫れの評価段階ＬＶの一例を示す図である。第１判定部１４０は、歯茎Ｇの腫れを評価スコア０～評価スコア２の３段階の評価段階ＬＶによって評価する。
図１０は、本実施形態の歯茎下がりの評価段階ＬＶの一例を示す図である。第１判定部１４０は、歯茎下がりを評価スコア０～評価スコア２の３段階の評価段階ＬＶによって評価する。
これら評価スコアには、評価コメントがそれぞれ対応づけられている。この評価スコアと評価コメントとの対応表は、口内状態判定装置１０が備える記憶部（不図示）又は外部の装置に予め記憶されている。

【0038】

上述したように第１判定部１４０は、歯茎Ｇの状態を、少なくとも３段階の評価段階ＬＶによって判定する。
第１判定部１４０は、歯茎Ｇの状態の判定の結果を歯毎判定結果ＲＳ１として第２判定部１５０及び通信部１１０に出力する。

【0039】

［口内状態判定システム１の学習段階の動作］
なお、上述した識別部１３０及び第１判定部１４０は、それぞれ機械学習モデルによって構成されていてもよい。
一例として、識別部１３０は、物体認識を得意とする機械学習モデルによって構成される。この場合、識別部１３０の学習段階において、識別部１３０に対して種々の口内画像ＯＰの画像を与え、口内画像ＯＰから、歯Ｔと歯茎Ｇとを含む歯毎画像ＳＴＰを切り出せるように教師付き学習を行う。
また一例として、第１判定部１４０は、画像分類を得意とする機械学習モデルによって構成される。この場合、第１判定部１４０の学習段階において、第１判定部１４０に対して種々の歯毎画像ＳＴＰの画像を与え、歯科医や歯科衛生士などの専門家による歯毎画像ＳＴＰの判定結果を教師データとして教師付き学習を行う。

【0040】

（ステップＳ１４０）図２に戻り、口内状態判定装置１０の第２判定部１５０は、歯毎判定結果ＲＳ１に基づいて、口内画像ＯＰに撮像されている歯茎Ｇ全体の状態を判定する。ここで、第２判定部１５０は、第１判定部１４０による歯Ｔごとの歯毎判定結果ＲＳ１を、口内画像ＯＰに撮像されている複数の歯Ｔについて統計演算することにより、歯茎Ｇ全体の状態を判定する。第１判定部１４０による統計演算の一例には、歯Ｔごとの歯毎判定結果ＲＳ１の平均値、中央値、最頻値、最小値、又は最大値のいずれかを求める演算がある。

【0041】

また、第２判定部１５０は、歯毎判定結果ＲＳ１を、評価項目ＥＶごとに統計演算を行う。すなわち、第２判定部１５０は、第１判定部１４０による歯毎判定結果ＲＳ１を、評価項目ＥＶごとに、口内画像ＯＰに撮像されている複数の歯Ｔについて統計演算することにより、歯茎Ｇ全体の状態を判定する。
第２判定部１５０は、歯茎Ｇ全体の状態について判定した結果を歯茎全体判定結果ＲＳ２として通信部１１０に出力する。

【0042】

（ステップＳ１５０）口内状態判定装置１０の通信部１１０は、ステップＳ１３０における歯毎判定結果ＲＳ１及びステップＳ１４０における歯茎全体判定結果ＲＳ２を、端末装置２０に対して送信する。

【0043】

（ステップＳ２５０）端末装置２０は、ステップＳ１５０において送信された判定結果を受信し、受信した判定結果を表示部ＤＰに表示させる。表示部ＤＰに表示される判定結果の一例について、図１１及び図１２を参照して説明する。

【0044】

図１１は、本実施形態の第１の判定結果画面（画像Ｐ４）の一例を示す図である。第１の判定結果画面（画像Ｐ４）には、第２の判定結果画面（画像Ｐ５）への表示切替え操作を受け付ける画像（Ｐ４１）と、歯茎全体判定結果ＲＳ２に基づく、歯茎Ｇ全体の判定結果を示す画像（画像Ｐ４２、画像Ｐ４３）と、ホーム画面（画像Ｐ１）の表示操作を受け付ける画像（画像Ｐ４４）とが表示される。

【0045】

図１２は、本実施形態の第２の判定結果画面（画像Ｐ５）の一例を示す図である。第２の判定結果画面（画像Ｐ５）には、第１の判定結果画面（画像Ｐ４）への表示切替え操作を受け付ける画像（Ｐ５１）と、歯茎全体判定結果ＲＳ２に基づく、歯茎Ｇ全体の評価項目ＥＶごとの判定結果を示す画像（画像Ｐ５２）と、歯毎判定結果ＲＳ１に基づく、歯Ｔごとの判定結果を示す画像（画像Ｐ５３、画像Ｐ５４）と、コメント画像（画像Ｐ５５）とが表示される。

【0046】

［第１の実施形態のまとめ］
以上説明したように、口内状態判定システム１は、第１判定部１４０と、第２判定部１５０との２つの判定部を備えている。ここで、第１判定部１４０は、識別部１３０の識別結果に基づいて、歯Ｔ１本ごとに、歯茎Ｇの状態を判定する。第２判定部１５０は、第１判定部１４０の判定結果に基づいて、歯茎Ｇ全体の状態を判定する。

【0047】

ここで、従来の画像処理手法によると、口内を撮影した画像のなかから、歯茎Ｇの位置や形状を認識することが難しい場合があった。このため、従来の画像処理手法によると、判定対象の歯茎Ｇの位置や形状の自動認識結果が安定せず、歯科医や歯科衛生士などの専門家が目視で判定した場合に比べて、その判定精度が低いという課題が生じることがあった。

【0048】

一方、判定対象の歯茎Ｇの位置や形状を安定的に自動認識することができれば、歯茎Ｇの状態の判定精度を高めることができる。ここで、歯茎Ｇの位置や形状に比べて、歯Ｔの位置や形状は自動認識しやすい。本実施形態の口内状態判定システム１は、この歯Ｔの自動認識のしやすさに着目して構成されている。すなわち、本実施形態の口内状態判定システム１は、歯Ｔごとに歯茎Ｇの状態を判定し、歯Ｔごとの判定結果を統計演算することにより歯茎Ｇ全体の状態を判定する。
したがって、本実施形態の口内状態判定システム１によれば、歯茎Ｇの状態の判定精度を向上させることができる。

【0049】

また、本実施形態の口内状態判定システム１によれば、第１判定部１４０が、歯茎Ｇの状態を、少なくとも３段階の評価段階ＬＶによって判定する。ここで、仮に２段階の評価段階によって判定する従来技術の場合、歯茎Ｇの状態について歯科医や歯科衛生士などの専門家に相談すべきか、否か、という２種類のアドバイスしか提示できない場合がある。本実施形態の口内状態判定システム１によれば、少なくとも３段階の評価段階ＬＶによって判定するため、上述の２種類のアドバイスに加えて、例えば、セルフケアすべきという３種類目のアドバイスを提示することができる。

【0050】

また、本実施形態の口内状態判定システム１によれば、第２判定部１５０が、第１判定部１４０による歯Ｔごとの歯毎判定結果ＲＳ１を、口内画像ＯＰに撮像されている複数の歯Ｔについて統計演算することにより、歯茎Ｇ全体の状態を判定する。
本実施形態の口内状態判定システム１によれば、第２判定部１５０が行う統計演算の種類に応じて、種々の判定結果を提示することができる。
例えば、第２判定部１５０が行う統計演算が、歯毎判定結果ＲＳ１の最悪値（最大値）を歯茎Ｇ全体の状態とする場合には、少なくとも１本の歯Ｔについて歯茎Ｇの状態が悪い場合に、その存在を提示することができる。
また、第２判定部１５０が行う統計演算が、歯毎判定結果ＲＳ１の平均値（又は、中央値、最頻値）を歯茎Ｇ全体の状態とする場合には、画像の状態などによって、一部の歯Ｔについて状態を誤判定した場合であっても、歯茎Ｇ全体の判定結果への影響を低減することができる。

【0051】

また、本実施形態の口内状態判定システム１によれば、少なくとも２種類の評価項目ＥＶによって歯茎Ｇの状態を判定する。このため本実施形態の口内状態判定システム１によれば、例えば、歯茎Ｇの色のみや、歯茎Ｇの形状のみによって歯茎Ｇの状態を判定する場合に比べて、判定精度を向上させることができる。

【0052】

［第２の実施形態］
次に、第２の実施形態について図１３及び図１４を参照して説明する。なお、上述した実施形態と同一の機能及び動作については、同一の符号を付してその説明を省略する。

【0053】

図１３は、本実施形態の口内状態判定システム１ａの機能構成の一例を示す図である。口内状態判定システム１ａは、口内状態判定装置１０ａを備える。この口内状態判定装置１０ａは、口内ケア情報取得部１６０を備える点において、上述した第１の実施形態と異なる。

【0054】

口内ケア情報取得部１６０は、第１判定部１４０による歯毎判定結果ＲＳ１又は第２判定部１５０による歯茎全体判定結果ＲＳ２に基づいて、判定結果に応じた口内ケア情報ＯＣＤを取得する。
ここで、口内ケア情報ＯＣＤには、口内ケアの手順や方法を解説するコメントや、口内ケア商品を紹介する情報などが含まれる。歯毎判定結果ＲＳ１又は歯茎全体判定結果ＲＳ２と、上述の解説コメント又は商品紹介情報とが対応づけられて、口内状態判定装置１０ａの記憶部（不図示）又は、他の装置に予め記憶されている。
また、口内ケア情報ＯＣＤは、被験者アンケート等の調査により別途取得した歯科に関する情報（例えば、インプラント、銀歯、金歯、矯正器具の有無）と対応づけられることによって、適切な解説コメント又は商品紹介情報を被験者に提供することができる。
口内ケア情報取得部１６０は、歯毎判定結果ＲＳ１又は歯茎全体判定結果ＲＳ２を検索キーにして検索し、歯毎判定結果ＲＳ１又は歯茎全体判定結果ＲＳ２に対応付けられている解説コメント又は商品紹介情報を口内ケア情報ＯＣＤとして取得する。口内ケア情報取得部１６０は、取得した口内ケア情報ＯＣＤを、通信部１１０を介して、端末装置２０に送信する。すなわち、通信部１１０（提示部）は、口内ケア情報取得部１６０が取得する口内ケア情報ＯＣＤを提示する。

【0055】

図１４は、本実施形態の口内ケア情報ＯＣＤの表示画面の一例を示す図である。端末装置２０の表示部ＤＰには、判定結果画面（画像Ｐ４ａ）が表示される。この判定結果画面（画像Ｐ４ａ）には、口内ケア情報取得部１６０から送信された口内ケア情報ＯＣＤに基づく画面（画像Ｐ４５、画像Ｐ４６）が表示される。

【0056】

以上説明したように、本実施形態の口内状態判定システム１ａによれば、歯茎Ｇの状態の判定結果に加えて、口内のセルフケアに役立つ情報（口内ケア情報ＯＣＤ）を提示することができる。このため、口内状態判定システム１ａによれば、歯茎Ｇの状態がより悪化する前の段階、すなわち歯科医や歯科衛生士などの専門家に相談すべき状態になる前の段階において、具体的なセルフケアの手順や方法を提示することができる。

【0057】

なお、上述した各実施形態において、口内状態判定装置１０（又は口内状態判定装置１０ａ）と、端末装置２０との機能分担の一例を説明したが、各装置は上述と異なる機能分担にして構成されていてもよい。例えば、口内状態判定システム１は、口内状態判定装置１０の機能の全部又は一部が、端末装置２０において動作するソフトウエアとして実現されていてもよい。

【0058】

以上、本発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。

【0059】

なお、上述の各装置は内部にコンピュータを有している。そして、上述した各装置の各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

【0060】

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【符号の説明】

【0061】

１…口内状態判定システム、１０および１０ａ…口内状態判定装置、１１０…通信部、１２０…画像取得部、１３０…識別部、１４０…第１判定部、１５０…第２判定部、１６０…口内ケア情報取得部、２０…端末装置、ＣＡＭ…カメラ、ＤＰ…表示部、Ｐ…画像、ＯＰ…口内画像、ＳＴＰ…歯毎画像、ＴＰ…歯領域、ＧＰ…歯茎領域、Ｇ…歯茎、Ｔ…歯、ＲＳ１…歯毎判定結果、ＲＳ２…歯茎全体判定結果、Ｎ…ネットワーク、ＬＶ…評価段階、ＥＶ…評価項目、ＯＣＤ…口内ケア情報

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】