(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-05
(45)【発行日】2024-01-16
(54)【発明の名称】口腔認識装置
(51)【国際特許分類】
G01B 11/245 20060101AFI20240109BHJP
G06T 7/00 20170101ALI20240109BHJP
G06T 1/00 20060101ALI20240109BHJP
G01B 11/24 20060101ALI20240109BHJP
【FI】
G01B11/245
G06T7/00 612
G06T1/00 290Z
G06T7/00 660A
G01B11/24 K
(21)【出願番号】P 2020009387
(22)【出願日】2020-01-23
【審査請求日】2022-12-08
【新規性喪失の例外の表示】特許法第30条第2項適用 (1)ウェブサイトの掲載日2019年1月31日ウェブサイトのアドレスhttp://repo.inf.uec.ac.jp/master/にて公開、及び (2)開催日2019年2月7日電気通信大学情報学専攻メディア情報学2019年度博士前期課程発表会にて、「口腔認識装置」の技術について公開した。
(73)【特許権者】
【識別番号】504133110
【氏名又は名称】国立大学法人電気通信大学
(74)【代理人】
【識別番号】100083806
【氏名又は名称】三好 秀和
(74)【代理人】
【識別番号】100101247
【氏名又は名称】高橋 俊一
(72)【発明者】
【氏名】安藤 貴広
(72)【発明者】
【氏名】正木 絢乃
(72)【発明者】
【氏名】柳 青
(72)【発明者】
【氏名】野嶋 琢也
【審査官】仲野 一秀
(56)【参考文献】
【文献】特開2017-44778(JP,A)
【文献】特開2019-175210(JP,A)
【文献】特開平11-219421(JP,A)
【文献】国際公開第2015/029982(WO,A1)
【文献】特開2002-197465(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G01B 11/00-11/30
G06T 7/00-7/90
G06T 1/00
(57)【特許請求の範囲】
【請求項1】
対象物
である人までの距離を深度値として検出する深度センサと、
前記人を撮像してRGB画像を取得するRGBカメラと、
前記人ごとに、口腔部が標準状態のときと所定の形状をしたときの前記RGB画像と前記深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定する閾値設定手段と、
前記RGB画像および前記深度値から、前記閾値設定手段により設定された閾値に基づいて前記人の口腔部の形状を認識する認識手段と、
を備えたことを特徴とする口腔認識装置。
【請求項2】
前記閾値設定手段は、
前記人ごとに、口腔部が標準状態のときと所定の形状をしたときの前記RGB画像と前記深度値とに基づいて、口腔部の所定の形状を判別するための前記口腔部の縦横比の閾値および前記深度値の閾値を設定する
ことを特徴とする請求項1記載の口腔認識装置。
【請求項3】
前記認識手段は、
前記RGB画像および前記深度値
に基づいて、前記口腔部の平均深度値を算出し、算出した平均深度値を超えたか否かを判定することにより前記深度値から生成した深度画像を二値化し、前記二値化された画像から抽出した画像を囲む矩形領域に基づいて舌先を抽出する
ことを特徴とする請求項1記載の口腔認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人の口腔部の形状や位置を認識する口腔認識装置に関するものである。
【背景技術】
【0002】
舌の運動機能は、嚥下や発話といった日常生活をおくるうえで必要不可欠な活動に深く関わっている。しかしながら、老化による筋力低下や特定疾患などの影響により舌の運動機能が低下することがある。
【0003】
そこで、舌や口の運動機能を維持・向上させるために、口腔筋機能療法と呼ばれる口や舌のトレーニングセットが知られているが、この手法では動作が単調であり長期間継続してトレーニングを行うことは苦痛であった。
【0004】
そのため、非特許文献1に記載したような非接触型舌運動計測システムが開発されている。非接触型舌運動計測システムは、非接触で口や舌の形状を検出して、ユーザがゲーム感覚で口腔運動のトレーニングを行うことができるものである。
【先行技術文献】
【非特許文献】
【0005】
【文献】柳 青, 宮内 将斗, 木村 尭, 野嶋 琢也, SITA: 非装着型舌運動計測システムの開発, 日本バーチャルリアリティ学会論文誌, 2016, 21 巻, 2 号, p. 235-241, 公開日 2016/09/09, Online ISSN 2423-9593, Print ISSN 1344-011X, https://doi.org/10.18974/tvrsj.21.2_235,https://www.jstage.jst.go.jp/article/tvrsj/21/2/21_235/_article/-char/ja,
【発明の概要】
【発明が解決しようとする課題】
【0006】
非特許文献1に記載の非装着型舌運動計測システムでは、非接触で口や舌の形状を検出するが、口や舌の形状は個人差が大きく、複雑な形状をしているので、精度よく形状を検出することが困難であった。
【0007】
本発明は、上記の事情に鑑みてなされたものであり、非接触で口や舌などの口腔部の形状や位置を精度よく認識する口腔認識装置を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明の口腔認識装置の第1の特徴は、
対象物までの距離を深度値として検出する深度センサと、
前記深度センサにより検出された深度値に基づいて、前記対象物である人の口腔部を認識する認識手段と、
を備えたことにある。
【0009】
本発明の口腔認識装置の第2の特徴は、
前記対象物を撮像してRGB画像を取得するRGBカメラと、
前記RGBカメラにより取得されたRGB画像に基づいて、撮像したRGB画像から人の頭のロール回転角θ1、ヨー回転角θ2、およびピッチ回転角を算出する算出手段と、
前記算出されたロール回転角θ1、ヨー回転角θ2、およびピッチ回転角に基づいて、撮像された人が正面を向きかつ人の顔の傾きが平行になるように、前記深度値を補正する補正手段と、
を備えたことにある。
【0010】
本発明の口腔認識装置の第3の特徴は、
前記対象物を撮像してRGB画像を取得するRGBカメラと、
前記人ごとに、口腔部が標準状態のときと所定の形状をしたときの前記RGB画像と前記深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定する閾値設定手段と、をさらに備え、
前記認識手段は、
前記RGB画像および前記深度値から、前記閾値設定手段により設定された閾値に基づいて口腔部の形状を認識する
ことにある。
【発明の効果】
【0011】
本発明によれば、非接触で口腔部の形状や位置を精度よく認識することができる。
【図面の簡単な説明】
【0012】
【
図1】本発明の実施形態1である口腔認識装置のハードウェア構成を示す機器構成図である。
【
図2】本発明の実施形態1である口腔認識装置の機能構成を示す機器構成図である。
【
図3】(a)は、正面から撮影された人の頭のロール回転角およびヨー回転角を説明した図であり、(b)は、側面から撮影された人の頭のピッチ回転角を説明した図である。
【
図4】閾値設定手段による閾値設定処理の処理内容を示したフローチャートである。
【
図5】閾値の設定のために標準状態における唇の状態を示した図である。(a)は、標準状態におけるユーザAの口腔部の上唇と下唇とを正面から撮影したRGB画像であり、(b)は、標準状態におけるユーザAの口腔部の上唇と下唇とを側面から撮影したRGB画像である。
【
図6】閾値の設定のために/wu/と発音した状態における唇の状態を示した図である。(a)は、/wu/と発音した状態におけるユーザAの口腔部の上唇と、下唇とを正面から撮影したRGB画像であり、(b)は、/wu/と発音した状態におけるユーザAの口腔部の上唇と、下唇とを側面から撮影したRGB画像である。
【
図7】本発明の実施形態2である口腔認識装置1において、位置認識処理の処理内容を示したフローチャートである。
【
図8】(a)はRGB画像の一例であり、(b)は深度画像の一例であり、(c)は二値化画像の一例であり、(d)は輪郭の抽出の一例であり、(e)は舌先の位置の一例である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について、図面を参照して説明する。各図面を通じて同一若しくは同等の部位や構成要素には、同一若しくは同等の符号を付している。ただし、図面は模式的なものであり、現実のものとは異なることに留意すべきである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。
【0014】
また、以下に示す実施の形態は、この発明の技術的思想を具体化するための装置等を例示するものであって、この発明の技術的思想は、各構成部品の配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において、種々の変更を加えることができる。
【0015】
<実施形態1>
本発明の実施形態1では、人の口腔部の形状を認識する形状認識処理を実行する口腔認識装置を例に挙げて説明する。
【0016】
図1は、本発明の実施形態1である口腔認識装置のハードウェア構成を示す機器構成図である。
【0017】
図1に示すように、口腔認識装置1は、RGBカメラ2と、深度センサ3と、コンピュータ4と、モニタ5と、入力デバイス6とを備えている。
【0018】
RGBカメラ2は、対象物、ここではユーザAを撮像してRGB画像を生成する。
【0019】
深度センサ3は、ユーザAまでの距離を深度値として検出する。
【0020】
モニタ5は、有機EL(electroluminescence)ディスプレイや、液晶ディスプレイ等の画像出力装置を備えており、コンピュータ4からの出力信号に基づいて画面を表示する。
【0021】
入力デバイス6は、キーボードやマウスなどであり、ユーザ操作に基づいて入力信号をコンピュータ4に供給する。
【0022】
コンピュータ4は、CPUやメモリなどを有しており、RGBカメラ2、深度センサ3、モニタ5、および入力デバイス6と接続されている。コンピュータ4は、RGBカメラ2が撮像したRGB画像を取得し、深度センサ3により計測された深度値を取得し、入力デバイス6から入力信号を取得する。また、コンピュータ4は、モニタ5に口腔筋機能のトレーニング用の画面を表示させたり、入力用の画面などを表示させたりする。
【0023】
また、コンピュータ4は、メモリに記憶された口腔認識プログラムを実行することにより、
図2に示すように、その機能上、深度画像生成手段41と、算出手段42と、補正手段43と、閾値設定手段44と、認識手段45と、出力手段46とを備える。
【0024】
深度画像生成手段41は、深度センサ3により検出された深度値に基づいて、対象物である人(ここでは、ユーザA)までの距離を濃淡で表現した深度画像を生成する。
【0025】
算出手段42は、RGBカメラ2により取得されたRGB画像に基づいて、撮像したRGB画像から、
図3(a)に示すような正面から撮影された人の頭のロール回転角θ1およびヨー回転角θ2と、
図3(b)に示すような側面から撮影された人の頭のピッチ回転角θ3とを算出する。このロール回転角θ1、ヨー回転角θ2、およびピッチ回転角θ3は、顔認識技術を用いて算出される。
【0026】
補正手段43は、算出されたロール回転角θ1、ヨー回転角θ2、およびピッチ回転角θ3に基づいて、
図3に示すように撮像された人が正面を向きかつ人の顔の傾きが平行になるように、深度画像とRGB画像とを補正する。すなわち、算出されたロール回転角θ1、ヨー回転角θ2、およびピッチ回転角θ3がともに、“0”度となるように深度画像とRGB画像とを補正する。
【0027】
閾値設定手段44は、人ごとに、口腔部が標準状態のときと所定の形状をしたときのRGB画像と深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定する。口腔部の形状は個人差が大きく、所定の形状をしたか否かを判定するのは困難であるので、ここでは、予め、人(ユーザ)ごとに、口腔部が標準状態のときと、所定の形状をしたときのRGB画像と深度値とを取得しておき、そのユーザの口腔部が所定の形状となったか否かを正確に判定するための閾値を設定する。なお、口腔部とは、唇および舌を含んでいる。
【0028】
認識手段45は、深度センサ3により検出された深度値に基づいて、対象物である人の口腔部を認識する。具体的には、認識手段45は、口腔部の形状を認識する形状認識処理と、口腔部の舌先の位置を認識する位置認識処理とを実行する。
【0029】
出力手段46は、認識手段45により認識した認識結果に基づいて、口腔筋機能のトレーニング用の画面をモニタ5に表示させる。
【0030】
<閾値設定処理>
図4は、閾値設定手段44による閾値設定処理の処理内容を示したフローチャートである。
【0031】
図4に示すように、標準状態(ユーザAが意図的に唇の形状を変えるのではなく通常の状態)におけるデータの取得が要求されたか否かを判定する(ステップS101)。例えば、モニタ5に「普通の顔をして、画面上の「撮影ボタン」を押してください。」というメッセージを表示させ、ユーザが入力デバイス6から「撮影ボタン」を押下操作することにより、データの取得が要求される。
【0032】
標準状態におけるデータの取得が要求されると(ステップS101;YES)、算出手段42はRGBカメラ2により撮像されたRGB画像を取得する(ステップS103)。
【0033】
次に、深度画像生成手段41は、深度センサ3により検出された深度値に基づいて、ユーザAまでの距離を濃淡で表現した深度画像を生成する(ステップS105)。
【0034】
そして、RGB画像と深度画像を補正する(ステップS107)。具体的には、算出手段42が、RGBカメラ2により取得されたRGB画像に基づいて、撮像したRGB画像から、ロール回転角θ1、ヨー回転角θ2、およびピッチ回転角θ3を算出し、補正手段43が、算出されたロール回転角θ1、ヨー回転角θ2、およびピッチ回転角θ3に基づいて、撮像されたユーザAが正面を向きかつユーザAの顔の傾きが平行になるように、RGB画像と深度画像を補正する。
【0035】
次に、所定の形状(ここでは、/wu/と発音したときの形状、および/yi/と発音したときの形状)をした状態におけるデータの取得が要求されたか否かを判定する(ステップS201)。例えば、モニタ5に「/wu/と発音して、画面上の「撮影ボタン」を押してください。」や、「/yi/と発音して、画面上の「撮影ボタン」を押してください。」というメッセージを表示させ、ユーザが入力デバイス6から「撮影ボタン」を押下操作することにより、データの取得が要求される。
【0036】
所定の形状におけるデータの取得が要求されると(ステップS109;YES)、算出手段42はRGBカメラ2により撮像されたRGB画像を取得する(ステップS111)。
【0037】
次に、深度画像生成手段41は、深度センサ3により検出された深度値に基づいて、ユーザAまでの距離を濃淡で表現した深度画像を生成する(ステップS113)。
【0038】
そして、ステップS107と同様に、RGB画像と深度画像を補正する(ステップS115)。
【0039】
次に、閾値設定手段44は、ユーザAの閾値を算出する(ステップS117)。
【0040】
図5は、閾値の設定のために標準状態における唇の状態を示した図である。(a)は、標準状態におけるユーザAの口腔部の上唇101aと下唇101bとを正面から撮影したRGB画像であり、(b)は、標準状態におけるユーザAの口腔部の上唇101aと下唇101bとを側面から撮影したRGB画像である。
【0041】
図5(a)に示すように、標準状態における上唇101aと下唇101bとの高さ(Z1-Z2方向の距離)をh1、上唇101aと下唇101bとの左右方向(X1-X2方向)の長さをw1とすると、標準状態における縦横比R
Nは、下記の(数式1)で算出される。
【0042】
R
N=h1/w1 ・・・(数式1)
また、
図5(b)に示すように、標準状態における上唇101aと下唇101bとの深さ(Y1-Y2方向の距離)をD
Nとする。具体的には、平均面102と、上唇101aまたは下唇101bの先端位置103との距離をD
Nとする。
【0043】
図6は、閾値の設定のために/wu/と発音した状態における唇の状態を示した図である。(a)は、/wu/と発音した状態におけるユーザAの口腔部の上唇101aと、下唇101bとを正面から撮影したRGB画像であり、(b)は、/wu/と発音した状態におけるユーザAの口腔部の上唇101aと、下唇101bとを側面から撮影したRGB画像である。
【0044】
図6(a)に示すように、/wu/と発音した状態における上唇101aと下唇101bとの高さ(Z1-Z2方向の距離)をh2、上唇101aと下唇101bとの左右方向(X1-X2方向)の長さをw2とすると、/wu/形状の縦横比R
wuは、下記の(数式2)で算出される。
【0045】
R
wu=h2/w2 ・・・(数式2)
また、
図6(b)に示すように、標準状態における上唇101aと下唇101bとの深さ(Y1-Y2方向の距離)をD
wuとする。
【0046】
なお、/yi/と発音したときの上唇101aおよび下唇101bの縦横比Ryiについても、/wu/形状の縦横比Rwuと同様に算出する。
【0047】
そして、閾値設定手段44は、下記の(数式3)~(数式5)を用いて、閾値Th1、Th2、Th3を設定する。
Th1=(Rwu+RN)/2 ・・・(数式3)
Th2=(Ryi+RN)/2 ・・・(数式4)
Th3=(Dwu+DN)/2 ・・・(数式5)
ここで、Th1は、/wu/形状判定の縦横比閾値であり、Th2は、/yi/形状判定の縦横比閾値であり、Th3は、/wu/形状判定の深度閾値である。
【0048】
そして、閾値設定手段44は、算出したTh1、Th2、Th3を、ユーザAを識別するユーザIDと関連付けて、メモリに記憶する(ステップS119)。
【0049】
このように、ユーザごとに、閾値Th1、Th2、Th3が記憶されているので、この閾値を用いることにより、認識手段45は、口腔部の形状を認識する形状認識処理を実行することができる。
【0050】
具体的には、補正手段43により補正された深度画像とRGB画像とが供給されると、認識手段45は、供給された深度画像とRGB画像とから、縦横比Rと深さDを算出する。
【0051】
そして、縦横比Rが閾値Th1を超え、かつ、深さDがTh3を超えている場合に、認識手段45は、ユーザAが/wu/形状をしていると認識する。また、縦横比Rが閾値Th2を超えている場合に、認識手段45は、ユーザAが/yi/形状をしていると認識する。
【0052】
以上のように、本発明の実施形態1である口腔認識装置1によれば、深度センサ3により検出された深度値に基づいて、対象物である人の口腔部を認識するので、正確に口腔部の形状を認識することができる。さらに、RGBカメラ2により撮像されたRGB画像も用いて対象物である人の口腔部を認識することで、さらに正確に口腔部の形状を認識することができる。
【0053】
また、RGBカメラ2により取得されたRGB画像に基づいて、撮像したRGB画像から人の頭のロール回転角θ1、ヨー回転角θ2、およびピッチ回転角θ3を算出し、算出されたロール回転角θ1、ヨー回転角θ2、およびピッチ回転角θ3に基づいて、撮像された人が正面を向きかつ人の顔の傾きが平行になるように、深度画像を補正するので、ユーザがどの方向を向いていたとしても、安定的に正確な深度値を得ることができるので、より正確に口腔部の形状を認識することができる。
【0054】
さらに、人ごとに、口腔部が標準状態のときと所定の形状をしたときのRGB画像と深度値とに基づいて、口腔部の所定の形状を判別するための閾値を設定し、RGB画像および深度値から、設定された閾値に基づいて口腔部の形状を認識するので、口腔部の形状の個人差にかかわらず、より正確に口腔部の形状を認識することができる。
【0055】
<実施形態2>
本発明の実施形態2では、口腔部の舌先の位置を認識する位置認識処理を実行する口腔認識装置1を例に挙げて説明する。なお、本発明の実施形態2である口腔認識装置1の構成については、
図1および
図2に示した本発明の実施形態1である口腔認識装置1の構成と同一であるので、説明を省略する。
【0056】
図7は、本発明の実施形態2である口腔認識装置1において、位置認識処理の処理内容を示したフローチャートである。
図7に示したステップS103~S107の処理については、
図4に示したステップS103~S107の処理と同一であるので、説明を省略する。
【0057】
ステップS107において、RGB画像と深度画像が補正されると、認識手段45は、
図8(a)に示すRGB画像に基づいて、
図8(b)に示す深度画像から、顔認識技術を用いて人(ここでは、ユーザA)の口腔部を抽出する(ステップS209)。
【0058】
そして、認識手段45は、深度画像から口腔部の平均深度値を算出する(ステップS211)。認識手段45は、算出した平均深度値を超えたか否かを判定することにより、深度画像を二値化し(ステップS213)、さらにノイズを除去する(ステップS215)。
【0059】
図8(c)は、深度画像に対して二値化およびノイズ除去処理が施された二値化画像である。
【0060】
図8(c)に示すように、二値化されることにより、上部抽出画像201aと下部抽出画像201bとが出現する。人(ユーザA)が舌を出している状態では、上部抽出画像201aが上唇の画像に対応し、下部抽出画像201bが舌の画像に対応する。
【0061】
そして、認識手段45は、上部抽出画像201aおよび下部抽出画像201bの輪郭を抽出する(ステップS217)。具体的には、認識手段45は、
図8(d)に示すように、上部抽出画像201aを囲む最小の面積となるような上部矩形領域202aを設定するとともに、下部抽出画像201bを囲む最小の面積となるような下部矩形領域202bを設定する。
【0062】
人(ユーザA)が舌を出している状態では、下部抽出画像201bが舌の画像に対応しているので、
図8(e)に示すように、認識手段45は、下部抽出画像201bの矩形の中心位置を舌先301として抽出する(ステップS221)。
【0063】
以上のように、本発明の実施形態2である口腔認識装置1によれば、深度センサ3により検出された深度値に基づいて、対象物である人の口腔部を認識するので、正確に口腔部の形状を認識することができる。
【符号の説明】
【0064】
1 口腔認識装置
2 RGBカメラ
3 深度センサ
4 コンピュータ
5 モニタ
6 入力デバイス
41 深度画像生成手段
42 算出手段
43 補正手段
44 閾値設定手段
45 認識手段
46 出力手段