ホーム > 特許ランキング > 国立大学法人電気通信大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2021-117049(P2021-117049A)
(43)【公開日】2021年8月10日
(54)【発明の名称】口腔認識装置
(51)【国際特許分類】
G01B 11/245 20060101AFI20210712BHJP
G06T 7/00 20170101ALI20210712BHJP
G06T 1/00 20060101ALI20210712BHJP
G01B 11/24 20060101ALI20210712BHJP
【ＦＩ】
G01B11/245
G06T7/00 612
G06T1/00 290Z
G06T7/00 660A
G01B11/24 K
【審査請求】未請求
【請求項の数】3
【出願形態】ＯＬ
【全頁数】12
(21)【出願番号】特願2020-9387(P2020-9387)
(22)【出願日】2020年1月23日
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）ウェブサイトの掲載日２０１９年１月３１日ウェブサイトのアドレスｈｔｔｐ：／／ｒｅｐｏ．ｉｎｆ．ｕｅｃ．ａｃ．ｊｐ／ｍａｓｔｅｒ／にて公開、及び （２）開催日２０１９年２月７日電気通信大学情報学専攻メディア情報学２０１９年度博士前期課程発表会にて、「口腔認識装置」の技術について公開した。
(71)【出願人】
【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
(74)【代理人】
【識別番号】100083806
【弁理士】
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【弁理士】
【氏名又は名称】高橋 俊一
(72)【発明者】
【氏名】安藤 貴広
(72)【発明者】
【氏名】正木 絢乃
(72)【発明者】
【氏名】柳 青
(72)【発明者】
【氏名】野嶋 琢也
【テーマコード（参考）】
2F065
5B057
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA14
2F065AA37
2F065AA53
2F065BB05
2F065CC16
2F065DD03
2F065FF01
2F065FF04
2F065GG04
2F065HH04
2F065JJ01
2F065JJ03
2F065MM16
2F065PP22
2F065QQ03
2F065QQ21
2F065QQ24
2F065QQ25
2F065QQ28
2F065QQ31
2F065UU05
5B057AA07
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CD03
5B057DA01
5B057DB02
5B057DB09
5B057DC08
5B057DC09
5L096AA02
5L096AA06
5L096AA09
5L096BA06
5L096CA02
5L096EA16
5L096FA67
5L096GA51
(57)【要約】
【課題】非接触で口腔部の形状や位置を精度よく認識する。【解決手段】対象物までの距離を深度値として検出する深度センサ３と、対象物を撮像してＲＧＢ画像を取得するＲＧＢカメラ２と、ＲＧＢカメラ２により取得されたＲＧＢ画像に基づいて、撮像したＲＧＢ画像から人の頭のロール回転角θ１、ヨー回転角θ２、およびピッチ回転角を算出する算出手段４２と、算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角に基づいて、撮像された人が正面を向きかつ人の顔の傾きが平行になるように、深度値を補正する補正手段４３と、補正手段４３により補正された深度値に基づいて、対象物である人の口腔部を認識する認識手段４５と、を備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
対象物までの距離を深度値として検出する深度センサと、
前記深度センサにより検出された深度値に基づいて、前記対象物である人の口腔部を認識する認識手段と、
を備えたことを特徴とする口腔認識装置。
前記深度センサにより検出された深度値に基づいて、前記対象物である人の口腔部を認識する認識手段と、
を備えたことを特徴とする口腔認識装置。
【請求項2】
前記対象物を撮像してＲＧＢ画像を取得するＲＧＢカメラと、
前記ＲＧＢカメラにより取得されたＲＧＢ画像に基づいて、撮像したＲＧＢ画像から人の頭のロール回転角θ１、ヨー回転角θ２、およびピッチ回転角を算出する算出手段と、
前記算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角に基づいて、撮像された人が正面を向きかつ人の顔の傾きが平行になるように、前記深度値を補正する補正手段と、
を備えたことを特徴とする請求項１記載の口腔認識装置。
前記ＲＧＢカメラにより取得されたＲＧＢ画像に基づいて、撮像したＲＧＢ画像から人の頭のロール回転角θ１、ヨー回転角θ２、およびピッチ回転角を算出する算出手段と、
前記算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角に基づいて、撮像された人が正面を向きかつ人の顔の傾きが平行になるように、前記深度値を補正する補正手段と、
を備えたことを特徴とする請求項１記載の口腔認識装置。
【請求項3】
前記対象物を撮像してＲＧＢ画像を取得するＲＧＢカメラと、
前記人ごとに、口腔部が標準状態のときと所定の形状をしたときの前記ＲＧＢ画像と前記深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定する閾値設定手段と、をさらに備え、
前記認識手段は、
前記ＲＧＢ画像および前記深度値から、前記閾値設定手段により設定された閾値に基づいて口腔部の形状を認識する
ことを特徴とする請求項１または２記載の口腔認識装置。
前記人ごとに、口腔部が標準状態のときと所定の形状をしたときの前記ＲＧＢ画像と前記深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定する閾値設定手段と、をさらに備え、
前記認識手段は、
前記ＲＧＢ画像および前記深度値から、前記閾値設定手段により設定された閾値に基づいて口腔部の形状を認識する
ことを特徴とする請求項１または２記載の口腔認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人の口腔部の形状や位置を認識する口腔認識装置に関するものである。
【背景技術】
【0002】
舌の運動機能は、嚥下や発話といった日常生活をおくるうえで必要不可欠な活動に深く関わっている。しかしながら、老化による筋力低下や特定疾患などの影響により舌の運動機能が低下することがある。
【0003】
そこで、舌や口の運動機能を維持・向上させるために、口腔筋機能療法と呼ばれる口や舌のトレーニングセットが知られているが、この手法では動作が単調であり長期間継続してトレーニングを行うことは苦痛であった。
【0004】
そのため、非特許文献１に記載したような非接触型舌運動計測システムが開発されている。非接触型舌運動計測システムは、非接触で口や舌の形状を検出して、ユーザがゲーム感覚で口腔運動のトレーニングを行うことができるものである。
【先行技術文献】
【非特許文献】
【0005】
【非特許文献1】柳 青, 宮内 将斗, 木村 尭, 野嶋 琢也, SITA: 非装着型舌運動計測システムの開発, 日本バーチャルリアリティ学会論文誌, 2016, 21 巻, 2 号, p. 235-241, 公開日 2016/09/09, Online ISSN 2423-9593, Print ISSN 1344-011X, https://doi.org/10.18974/tvrsj.21.2_235,https://www.jstage.jst.go.jp/article/tvrsj/21/2/21_235/_article/-char/ja,
【発明の概要】
【発明が解決しようとする課題】
【0006】
非特許文献１に記載の非装着型舌運動計測システムでは、非接触で口や舌の形状を検出するが、口や舌の形状は個人差が大きく、複雑な形状をしているので、精度よく形状を検出することが困難であった。
【0007】
本発明は、上記の事情に鑑みてなされたものであり、非接触で口や舌などの口腔部の形状や位置を精度よく認識する口腔認識装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の口腔認識装置の第１の特徴は、対象物までの距離を深度値として検出する深度センサと、
前記深度センサにより検出された深度値に基づいて、前記対象物である人の口腔部を認識する認識手段と、
を備えたことにある。
【0009】
本発明の口腔認識装置の第２の特徴は、前記対象物を撮像してＲＧＢ画像を取得するＲＧＢカメラと、
前記ＲＧＢカメラにより取得されたＲＧＢ画像に基づいて、撮像したＲＧＢ画像から人の頭のロール回転角θ１、ヨー回転角θ２、およびピッチ回転角を算出する算出手段と、
前記算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角に基づいて、撮像された人が正面を向きかつ人の顔の傾きが平行になるように、前記深度値を補正する補正手段と、
を備えたことにある。
【0010】
本発明の口腔認識装置の第３の特徴は、前記対象物を撮像してＲＧＢ画像を取得するＲＧＢカメラと、
前記人ごとに、口腔部が標準状態のときと所定の形状をしたときの前記ＲＧＢ画像と前記深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定する閾値設定手段と、をさらに備え、
前記認識手段は、
前記ＲＧＢ画像および前記深度値から、前記閾値設定手段により設定された閾値に基づいて口腔部の形状を認識する
ことにある。
【発明の効果】
【0011】
本発明によれば、非接触で口腔部の形状や位置を精度よく認識することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態１である口腔認識装置のハードウェア構成を示す機器構成図である。
【図2】本発明の実施形態１である口腔認識装置の機能構成を示す機器構成図である。
【図3】（ａ）は、正面から撮影された人の頭のロール回転角およびヨー回転角を説明した図であり、（ｂ）は、側面から撮影された人の頭のピッチ回転角を説明した図である。
【図4】閾値設定手段による閾値設定処理の処理内容を示したフローチャートである。
【図5】閾値の設定のために標準状態における唇の状態を示した図である。（ａ）は、標準状態におけるユーザＡの口腔部の上唇と下唇とを正面から撮影したＲＧＢ画像であり、（ｂ）は、標準状態におけるユーザＡの口腔部の上唇と下唇とを側面から撮影したＲＧＢ画像である。
【図6】閾値の設定のために／ｗｕ／と発音した状態における唇の状態を示した図である。（ａ）は、／ｗｕ／と発音した状態におけるユーザＡの口腔部の上唇と、下唇とを正面から撮影したＲＧＢ画像であり、（ｂ）は、／ｗｕ／と発音した状態におけるユーザＡの口腔部の上唇と、下唇とを側面から撮影したＲＧＢ画像である。
【図7】本発明の実施形態２である口腔認識装置１において、位置認識処理の処理内容を示したフローチャートである。
【図8】（ａ）はＲＧＢ画像の一例であり、（ｂ）は深度画像の一例であり、（ｃ）は二値化画像の一例であり、（ｄ）は輪郭の抽出の一例であり、（ｅ）は舌先の位置の一例である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を参照して説明する。各図面を通じて同一若しくは同等の部位や構成要素には、同一若しくは同等の符号を付している。ただし、図面は模式的なものであり、現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。
【0014】
また、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置等を例示するものであって、この発明の技術的思想は、各構成部品の配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
【0015】
＜実施形態１＞本発明の実施形態１では、人の口腔部の形状を認識する形状認識処理を実行する口腔認識装置を例に挙げて説明する。
【0016】
図１は、本発明の実施形態１である口腔認識装置のハードウェア構成を示す機器構成図である。
【0017】
図１に示すように、口腔認識装置１は、ＲＧＢカメラ２と、深度センサ３と、コンピュータ４と、モニタ５と、入力デバイス６とを備えている。
【0018】
ＲＧＢカメラ２は、対象物、ここではユーザＡを撮像してＲＧＢ画像を生成する。
【0019】
深度センサ３は、ユーザＡまでの距離を深度値として検出する。
【0020】
モニタ５は、有機ＥＬ（electroluminescence）ディスプレイや、液晶ディスプレイ等の画像出力装置を備えており、コンピュータ４からの出力信号に基づいて画面を表示する。
【0021】
入力デバイス６は、キーボードやマウスなどであり、ユーザ操作に基づいて入力信号をコンピュータ４に供給する。
【0022】
コンピュータ４は、ＣＰＵやメモリなどを有しており、ＲＧＢカメラ２、深度センサ３、モニタ５、および入力デバイス６と接続されている。コンピュータ４は、ＲＧＢカメラ２が撮像したＲＧＢ画像を取得し、深度センサ３により計測された深度値を取得し、入力デバイス６から入力信号を取得する。また、コンピュータ４は、モニタ５に口腔筋機能のトレーニング用の画面を表示させたり、入力用の画面などを表示させたりする。
【0023】
また、コンピュータ４は、メモリに記憶された口腔認識プログラムを実行することにより、図２に示すように、その機能上、深度画像生成手段４１と、算出手段４２と、補正手段４３と、閾値設定手段４４と、認識手段４５と、出力手段４６とを備える。
【0024】
深度画像生成手段４１は、深度センサ３により検出された深度値に基づいて、対象物である人（ここでは、ユーザＡ）までの距離を濃淡で表現した深度画像を生成する。
【0025】
算出手段４２は、ＲＧＢカメラ２により取得されたＲＧＢ画像に基づいて、撮像したＲＧＢ画像から、図３（ａ）に示すような正面から撮影された人の頭のロール回転角θ１およびヨー回転角θ２と、図３（ｂ）に示すような側面から撮影された人の頭のピッチ回転角θ３とを算出する。このロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３は、顔認識技術を用いて算出される。
【0026】
補正手段４３は、算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３に基づいて、図３に示すように撮像された人が正面を向きかつ人の顔の傾きが平行になるように、深度画像とＲＧＢ画像とを補正する。すなわち、算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３がともに、“０”度となるように深度画像とＲＧＢ画像とを補正する。
【0027】
閾値設定手段４４は、人ごとに、口腔部が標準状態のときと所定の形状をしたときのＲＧＢ画像と深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定する。口腔部の形状は個人差が大きく、所定の形状をしたか否かを判定するのは困難であるので、ここでは、予め、人（ユーザ）ごとに、口腔部が標準状態のときと、所定の形状をしたときのＲＧＢ画像と深度値とを取得しておき、そのユーザの口腔部が所定の形状となったか否かを正確に判定するための閾値を設定する。なお、口腔部とは、唇および舌を含んでいる。
【0028】
認識手段４５は、深度センサ３により検出された深度値に基づいて、対象物である人の口腔部を認識する。具体的には、認識手段４５は、口腔部の形状を認識する形状認識処理と、口腔部の舌先の位置を認識する位置認識処理とを実行する。
【0029】
出力手段４６は、認識手段４５により認識した認識結果に基づいて、口腔筋機能のトレーニング用の画面をモニタ５に表示させる。
【0031】
図４に示すように、標準状態（ユーザＡが意図的に唇の形状を変えるのではなく通常の状態）におけるデータの取得が要求されたか否かを判定する（ステップＳ１０１）。例えば、モニタ５に「普通の顔をして、画面上の「撮影ボタン」を押してください。」というメッセージを表示させ、ユーザが入力デバイス６から「撮影ボタン」を押下操作することにより、データの取得が要求される。
【0032】
標準状態におけるデータの取得が要求されると（ステップＳ１０１；ＹＥＳ）、算出手段４２はＲＧＢカメラ２により撮像されたＲＧＢ画像を取得する（ステップＳ１０３）。
【0033】
次に、深度画像生成手段４１は、深度センサ３により検出された深度値に基づいて、ユーザＡまでの距離を濃淡で表現した深度画像を生成する（ステップＳ１０５）。
【0034】
そして、ＲＧＢ画像と深度画像を補正する（ステップＳ１０７）。具体的には、算出手段４２が、ＲＧＢカメラ２により取得されたＲＧＢ画像に基づいて、撮像したＲＧＢ画像から、ロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３を算出し、補正手段４３が、算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３に基づいて、撮像されたユーザＡが正面を向きかつユーザＡの顔の傾きが平行になるように、ＲＧＢ画像と深度画像を補正する。
【0035】
次に、所定の形状（ここでは、／ｗｕ／と発音したときの形状、および／ｙｉ／と発音したときの形状）をした状態におけるデータの取得が要求されたか否かを判定する（ステップＳ２０１）。例えば、モニタ５に「／ｗｕ／と発音して、画面上の「撮影ボタン」を押してください。」や、「／ｙｉ／と発音して、画面上の「撮影ボタン」を押してください。」というメッセージを表示させ、ユーザが入力デバイス６から「撮影ボタン」を押下操作することにより、データの取得が要求される。
【0036】
所定の形状におけるデータの取得が要求されると（ステップＳ１０９；ＹＥＳ）、算出手段４２はＲＧＢカメラ２により撮像されたＲＧＢ画像を取得する（ステップＳ１１１）。
【0037】
次に、深度画像生成手段４１は、深度センサ３により検出された深度値に基づいて、ユーザＡまでの距離を濃淡で表現した深度画像を生成する（ステップＳ１１３）。
【0038】
そして、ステップＳ１０７と同様に、ＲＧＢ画像と深度画像を補正する（ステップＳ１１５）。
【0039】
次に、閾値設定手段４４は、ユーザＡの閾値を算出する（ステップＳ１１７）。
【0040】
図５は、閾値の設定のために標準状態における唇の状態を示した図である。（ａ）は、標準状態におけるユーザＡの口腔部の上唇１０１ａと下唇１０１ｂとを正面から撮影したＲＧＢ画像であり、（ｂ）は、標準状態におけるユーザＡの口腔部の上唇１０１ａと下唇１０１ｂとを側面から撮影したＲＧＢ画像である。
【0041】
図５（ａ）に示すように、標準状態における上唇１０１ａと下唇１０１ｂとの高さ（Ｚ１−Ｚ２方向の距離）をｈ１、上唇１０１ａと下唇１０１ｂとの左右方向（Ｘ１−Ｘ２方向）の長さをｗ１とすると、標準状態における縦横比ＲＮは、下記の（数式１）で算出される。
【0042】
ＲＮ＝ｈ１／ｗ１ ・・・（数式１）また、図５（ｂ）に示すように、標準状態における上唇１０１ａと下唇１０１ｂとの深さ（Ｙ１−Ｙ２方向の距離）をＤＮとする。具体的には、平均面１０２と、上唇１０１ａまたは下唇１０１ｂの先端位置１０３との距離をＤＮとする。
【0043】
図６は、閾値の設定のために／ｗｕ／と発音した状態における唇の状態を示した図である。（ａ）は、／ｗｕ／と発音した状態におけるユーザＡの口腔部の上唇１０１ａと、下唇１０１ｂとを正面から撮影したＲＧＢ画像であり、（ｂ）は、／ｗｕ／と発音した状態におけるユーザＡの口腔部の上唇１０１ａと、下唇１０１ｂとを側面から撮影したＲＧＢ画像である。
【0044】
図６（ａ）に示すように、／ｗｕ／と発音した状態における上唇１０１ａと下唇１０１ｂとの高さ（Ｚ１−Ｚ２方向の距離）をｈ２、上唇１０１ａと下唇１０１ｂとの左右方向（Ｘ１−Ｘ２方向）の長さをｗ２とすると、／ｗｕ／形状の縦横比Ｒｗｕは、下記の（数式２）で算出される。
【0046】
なお、／ｙｉ／と発音したときの上唇１０１ａおよび下唇１０１ｂの縦横比Ｒｙｉについても、／ｗｕ／形状の縦横比Ｒｗｕと同様に算出する。
【0047】
そして、閾値設定手段４４は、下記の（数式３）〜（数式５）を用いて、閾値Ｔｈ１、Ｔｈ２、Ｔｈ３を設定する。Ｔｈ１＝（Ｒｗｕ＋ＲＮ）／２ ・・・（数式３）
Ｔｈ２＝（Ｒｙｉ＋ＲＮ）／２ ・・・（数式４）
Ｔｈ３＝（Ｄｗｕ＋ＤＮ）／２ ・・・（数式５）
ここで、Ｔｈ１は、／ｗｕ／形状判定の縦横比閾値であり、Ｔｈ２は、／ｙｉ／形状判定の縦横比閾値であり、Ｔｈ３は、／ｗｕ／形状判定の深度閾値である。
【0048】
そして、閾値設定手段４４は、算出したＴｈ１、Ｔｈ２、Ｔｈ３を、ユーザＡを識別するユーザＩＤと関連付けて、メモリに記憶する（ステップＳ１１９）。
【0049】
このように、ユーザごとに、閾値Ｔｈ１、Ｔｈ２、Ｔｈ３が記憶されているので、この閾値を用いることにより、認識手段４５は、口腔部の形状を認識する形状認識処理を実行することができる。
【0050】
具体的には、補正手段４３により補正された深度画像とＲＧＢ画像とが供給されると、認識手段４５は、供給された深度画像とＲＧＢ画像とから、縦横比Ｒと深さＤを算出する。
【0051】
そして、縦横比Ｒが閾値Ｔｈ１を超え、かつ、深さＤがＴｈ３を超えている場合に、認識手段４５は、ユーザＡが／ｗｕ／形状をしていると認識する。また、縦横比Ｒが閾値Ｔｈ２を超えている場合に、認識手段４５は、ユーザＡが／ｙｉ／形状をしていると認識する。
【0052】
以上のように、本発明の実施形態１である口腔認識装置１によれば、深度センサ３により検出された深度値に基づいて、対象物である人の口腔部を認識するので、正確に口腔部の形状を認識することができる。さらに、ＲＧＢカメラ２により撮像されたＲＧＢ画像も用いて対象物である人の口腔部を認識することで、さらに正確に口腔部の形状を認識することができる。
【0053】
また、ＲＧＢカメラ２により取得されたＲＧＢ画像に基づいて、撮像したＲＧＢ画像から人の頭のロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３を算出し、算出されたロール回転角θ１、ヨー回転角θ２、およびピッチ回転角θ３に基づいて、撮像された人が正面を向きかつ人の顔の傾きが平行になるように、深度画像を補正するので、ユーザがどの方向を向いていたとしても、安定的に正確な深度値を得ることができるので、より正確に口腔部の形状を認識することができる。
【0054】
さらに、人ごとに、口腔部が標準状態のときと所定の形状をしたときのＲＧＢ画像と深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定し、ＲＧＢ画像および深度値から、設定された閾値に基づいて口腔部の形状を認識するので、口腔部の形状の個人差にかかわらず、より正確に口腔部の形状を認識することができる。
【0055】
＜実施形態２＞本発明の実施形態２では、口腔部の舌先の位置を認識する位置認識処理を実行する口腔認識装置１を例に挙げて説明する。なお、本発明の実施形態２である口腔認識装置１の構成については、図１および図２に示した本発明の実施形態１である口腔認識装置１の構成と同一であるので、説明を省略する。
【0056】
図７は、本発明の実施形態２である口腔認識装置１において、位置認識処理の処理内容を示したフローチャートである。図７に示したステップＳ１０３〜Ｓ１０７の処理については、図４に示したステップＳ１０３〜Ｓ１０７の処理と同一であるので、説明を省略する。
【0057】
ステップＳ１０７において、ＲＧＢ画像と深度画像が補正されると、認識手段４５は、図８（ａ）に示すＲＧＢ画像に基づいて、図８（ｂ）に示す深度画像から、顔認識技術を用いて人（ここでは、ユーザＡ）の口腔部を抽出する（ステップＳ２０９）。
【0058】
そして、認識手段４５は、深度画像から口腔部の平均深度値を算出する（ステップＳ２１１）。認識手段４５は、算出した平均深度値を超えたか否かを判定することにより、深度画像を二値化し（ステップＳ２１３）、さらにノイズを除去する（ステップＳ２１５）。
【0059】
図８（ｃ）は、深度画像に対して二値化およびノイズ除去処理が施された二値化画像である。
【0060】
図８（ｃ）に示すように、二値化されることにより、上部抽出画像２０１ａと下部抽出画像２０１ｂとが出現する。人（ユーザＡ）が舌を出している状態では、上部抽出画像２０１ａが上唇の画像に対応し、下部抽出画像２０１ｂが舌の画像に対応する。
【0061】
そして、認識手段４５は、上部抽出画像２０１ａおよび下部抽出画像２０１ｂの輪郭を抽出する（ステップＳ２１７）。具体的には、認識手段４５は、図８（ｄ）に示すように、上部抽出画像２０１ａを囲む最小の面積となるような上部矩形領域２０２ａを設定するとともに、下部抽出画像２０１ｂを囲む最小の面積となるような下部矩形領域２０２ｂを設定する。
【0062】
人（ユーザＡ）が舌を出している状態では、下部抽出画像２０１ｂが舌の画像に対応しているので、図８（ｅ）に示すように、認識手段４５は、下部抽出画像２０１ｂの矩形の中心位置を舌先３０１として抽出する（ステップＳ２２１）。
【0063】
以上のように、本発明の実施形態２である口腔認識装置１によれば、深度センサ３により検出された深度値に基づいて、対象物である人の口腔部を認識するので、正確に口腔部の形状を認識することができる。
【符号の説明】
【0064】
１ 口腔認識装置２ ＲＧＢカメラ
３ 深度センサ
４ コンピュータ
５ モニタ
６ 入力デバイス
４１ 深度画像生成手段
４２ 算出手段
４３ 補正手段
４４ 閾値設定手段
４５ 認識手段
４６ 出力手段