特開 2023-70542 錐体外路症状診断装置及び錐体外路症状診断プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023070542

(43)【公開日】2023-05-19

(54)【発明の名称】錐体外路症状診断装置及び錐体外路症状診断プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230512BHJP

   A61B 5/11 20060101ALI20230512BHJP

【ＦＩ】

G06T7/00 660A

A61B5/11

A61B5/11 120

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021182784

(22)【出願日】2021-11-09

(11)【特許番号】

(45)【特許公報発行日】2023-02-15

(71)【出願人】

【識別番号】397073201

【氏名又は名称】株式会社電通国際情報サービス

(71)【出願人】

【識別番号】521491989

【氏名又は名称】稲田 俊也

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】深谷 勇次

(72)【発明者】

【氏名】大串 和正

(72)【発明者】

【氏名】田辺 佑太

(72)【発明者】

【氏名】稲田 俊也

【テーマコード（参考）】

4C038

5L096

【Ｆターム（参考）】

4C038VB05

4C038VC05

5L096CA04

5L096DA02

5L096FA12

5L096FA32

5L096FA33

5L096FA69

5L096HA02

5L096JA03

5L096JA11

5L096KA04

(57)【要約】

【課題】錐体外路症状の診断を適切に行う技術を提供する。
【解決手段】錐体外路症状診断装置が、診断の対象者を撮影した動画像を取得することと、前記動画像から時系列に画像データを取得することと、前記画像データから前記対象者の特徴点を複数求め、各特徴点の位置情報を時系列に求めることと、時系列に求めた前記各特徴点の時間経過に伴う位置情報の変化に基づいて、各特徴点の特徴量を求めることと、各特徴点の前記特徴量が入力された際に、推定される錐体外路症状の程度を算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力することにより、前記錐体外路症状の程度を算出することと、算出した前記錐体外路症状の程度を出力することとを実行する制御部を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

診断の対象者を撮影した動画像から時系列に画像データを取得することと、
前記画像データから前記対象者の特徴点を複数求め、各特徴点の位置情報を時系列に求めることと、
時系列に求めた前記各特徴点の時間経過に伴う位置情報の変化に基づいて、各特徴点の特徴量を求めることと、
各特徴点の前記特徴量が入力された際に、推定される錐体外路症状の程度を算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力することにより、前記錐体外路症状の程度を算出することと、
算出した前記錐体外路症状の程度を出力することと、
を実行する制御部を備える錐体外路症状診断装置。

【請求項2】

前記特徴量が、時間経過に伴う前記位置情報の変化量について求めた、平均値、中央値、標準偏差、分散、最小値、最大値、歪度、尖度、総和、二乗和、平均値を跨いだ回数、及び平均パワースペクトルのうち、少なくとも一つである請求項１に記載の錐体外路症状診断装置。

【請求項3】

各特徴点における前記位置情報の時間経過に伴う変化が、前記対象者の顔の基準部位を基準とする相対的な位置の変化である請求項１又は２に記載の錐体外路症状診断装置。

【請求項4】

前記顔の基準部位は鼻であり、前記特徴点が、前記対象者の顔の部位であって、唇、及び当該唇の周辺部を含む特定の部位である請求項３に記載の錐体外路症状診断装置。

【請求項5】

前記制御部が、
前記錐体外路症状の程度を算出した際、当該算出結果への影響度が高い前記特徴点を求めることと、
前記影響度が高い前記特徴点を前記対象者の画像上に重畳して表示することと、
を更に実行する請求項１～４の何れか１項に記載の錐体外路症状診断装置。

【請求項6】

診断の対象者を撮影した動画像から時系列に画像データを取得することと、
前記画像データから前記対象者の特徴点を複数求め、各特徴点の位置情報を時系列に求めることと、
時系列に求めた前記各特徴点の時間経過に伴う位置情報の変化に基づいて、各特徴点の特徴量を求めることと、
各特徴点の前記特徴量が入力された際に、推定される錐体外路症状の程度を算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力することにより、前記錐体外路症状の程度を算出することと、
算出した前記錐体外路症状の程度を出力することと、
を制御部に実行させるための錐体外路症状診断プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、錐体外路症状診断装置及び錐体外路症状診断プログラムに関する。

【背景技術】

【0002】

錐体外路症状とは、大脳皮質運動野から、抹消運動に指令をだす神経路のうち、錐体路以外の通り道の錐体外路で異常が起きたことによって生じる症状の総称である。錐体外路症状としては、振戦・薬剤性パーキンソニズム・ジスキネジア・ジストニア・アカシジア・パーキンソン様症状などが知られている。例えば、ジスキネジアでは、繰り返し唇をすぼめる・口をもぐもぐさせる・口を突き出す・歯を食いしばる・目を閉じるとなかなか開けずしわを寄せているといった症状が現れることがある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０１８／１７９４１９号

【特許文献2】特開２０１４－１６８７００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

錐体外路症状に対する治療方針を決定するためには、どのような症状が、どの程度現れているかを適切に診断することが求められるが、振戦やジスキネジア、ジストニアなどでは、何れも不随意運動の反復が現れ、類似した症状となるので、明確な区別は難しいという問題があった。また、これらの症状は、複合的に現れることがある。例えば、ジスキネジア症状とジストニア症状とが現れた場合、どちらの症状の程度が高いかによって、投薬の方針を決定することがあるため、これらの症状の程度を適切に診断することが肝要である。しかしながら、これら症状の程度は、医師の所見によって定められるのが一般的であり、例えば、長期にわたる治療過程において、一定の基準で程度の診断を下すのは非常に難しいという問題があった。

【0005】

開示の技術の課題は、錐体外路症状の診断を適切に行う技術を提供することにある。

【課題を解決するための手段】

【0006】

開示の技術の一側面は、次の錐体外路症状診断装置の構成によって例示される。すなわち、本錐体外路症状診断装置は、
診断の対象者を撮影した動画像から時系列に画像データを取得することと、
前記画像データから前記対象者の特徴点を複数求め、各特徴点の位置情報を時系列に求めることと、
時系列に求めた前記各特徴点の時間経過に伴う位置情報の変化に基づいて、各特徴点の特徴量を求めることと、
各特徴点の前記特徴量が入力された際に、推定される錐体外路症状の程度を算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力することにより、前記錐体外路症状の程度を算出することと、
算出した前記錐体外路症状の程度を出力することと、
を実行する制御部を備える。

【0007】

前記錐体外路症状診断装置は、前記特徴量が、時間経過に伴う前記位置情報の変化量について求めた、平均値、中央値、標準偏差、分散、最小値、最大値、歪度、尖度、総和、
二乗和、平均値を跨いだ回数、及び平均パワースペクトルのうち、少なくとも一つであってもよい。

【0008】

前記錐体外路症状診断装置は、各特徴点における前記位置情報の時間経過に伴う変化が、前記対象者の顔の基準位置を基準とする相対的な位置の変化であってもよい。

【0009】

前記錐体外路症状診断装置において、前記顔の基準部位は鼻であり、前記特徴点が、前記対象者の顔の部位であって、唇、及び当該唇の周辺部を含む特定の部位であってもよい。

【0010】

前記錐体外路症状診断装置において、前記制御部が、
前記錐体外路症状の程度を算出した際、当該算出結果への影響度が高い前記特徴点を求めることと、
前記影響度が高い前記特徴点を前記画像に重畳して表示することと、
を更に実行してもよい。

【0011】

開示の技術の一側面は、次の錐体外路症状診断プログラムによって例示される。すなわち、本錐体外路症状診断プログラムは、
診断の対象者を撮影した動画像を取得することと、
前記動画像から時系列に画像データを取得することと、
前記画像データから前記対象者の特徴点を複数求め、各特徴点の位置情報を時系列に求めることと、
時系列に求めた前記各特徴点の時間経過に伴う位置情報の変化に基づいて、各特徴点の特徴量を求めることと、
各特徴点の前記特徴量が入力された際に、推定される錐体外路症状の程度を算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力することにより、前記錐体外路症状の程度を算出することと、
算出した前記錐体外路症状の程度を出力することと、
を制御部に実行させる。

【0012】

更に、開示の技術の一側面は、この錐体外路症状診断プログラムをコンピュータが読み取り可能な記録媒体に記録したものによって例示される。コンピュータに、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。

【0013】

ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ（Compact Disc）、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disk）、ブルーレイディスク（Blu-ray（登録商標） Disc）、ＤＡＴ、８ｍｍテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。

【発明の効果】

【0014】

本開示の技術によれば、錐体外路症状の診断を適切に行うことができる。

【図面の簡単な説明】

【0015】

【図1】本実施形態に係る錐体外路症状診断装置の概略構成図である。

【図2】特徴点を抽出する処理の説明図である。

【図3】特徴点の時間的変位を示す図である。

【図4】特徴点の時間経過に伴う位置の変化を示すグラフである。

【図5】パワースペクトルの説明図である。

【図6】影響度が高い１０点の特徴点を求めて、画像に重畳して表示した例を示す。

【図7】診断装置の制御部が、プログラムにしたがって機械学習を行う処理を示す図である。

【図8】診断装置の制御部が、錐体外路症状診断プログラムに従って実行する処理を示す図である。

【発明を実施するための形態】

【0016】

以下、図面を参照して、一実施形態に係る錐体外路症状診断装置について説明する。以下の実施形態の構成は例示であり、本錐体外路症状診断装置は実施形態の構成には限定されない。

【0017】

《装置構成》
図１は、本実施形態に係る錐体外路症状診断装置（以下単に診断装置とも称す）１０の概略構成図である。診断装置１０は、患者２０の顔の表情を撮影した画像を診断モデルに入力し、錐体外路症状の診断結果を算出する。この診断モデルは、患者２０の顔を所定期間（例えば数十秒）撮影し、撮影画像から顔の特徴点を複数抽出して、各特徴点の変位を時系列に求めたデータと、医師が定めたラベルとを教師データとしてディープラーニング（機械学習）を行ったものである。これにより本実施形態の錐体外路症状診断装置１０は、患者２０の顔の表情をＡＩで機械的に診断し、例えば、振戦、ジスキネジア、又はジストニアの症状の有無や、その症状の程度といった錐体外路症状を適切に診断できるようにしている。

【0018】

《診断装置》
診断装置１０は、接続バス１１によって相互に接続された制御部１２、メモリ１３、入出力ＩＦ（インターフェース）１４、通信ＩＦ１５、撮影装置１６を有するコンピュータである。制御部１２は、入力された情報を処理し、処理結果を出力することにより、装置全体の制御等を行う。制御部１２は、ＣＰＵ（Central Processing Unit）や、ＭＰＵ（Micro-processing unit）とも呼ばれる。制御部１２は、単一のプロセッサに限られず、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のチップ内に複数のコアを有したマルチコア構成であってもよい。

【0019】

メモリ１３は、主記憶装置と補助記憶装置とを含む。主記憶装置は、制御部１２の作業領域、制御部１２で処理される情報を一時的に記憶する記憶領域、通信データのバッファ領域として使用される。主記憶装置は、制御部１２がプログラムやデータをキャッシュしたり、作業領域を展開したりするための記憶媒体である。主記憶装置は、例えば、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、フラッシュメモリを含む。補助記憶装置は、制御部１２により実行されるプログラムや、情報処理に用いられるデータ、動作の設定情報、診断モデルとして用いられるデータなどを記憶する記憶媒体である。補助記憶装置は、例えば、ＨＤＤ（Hard-disk Drive）やＳＳＤ（Solid State Drive）、ＥＰＲＯＭ（Erasable Programmable ROM）、フラッシュメモリ、ＵＳＢメモリ、メモリ
カード等である。また、補助記憶装置は、診断対象とする画像（撮影画像）や、診断結果を記憶する。

【0020】

入出力ＩＦ１４は、診断装置１０に接続する機器との間でデータの入出力を行うインターフェースである。入出力ＩＦ１４は、例えば、ＣＤやＤＶＤ等の記憶媒体からデータを読み取るディスクドライブ、操作部、表示装置、撮影装置１６等の機器との間でデータの
入出力を行う。操作部は、マウスやキーボード、タッチパネル等、オペレータの操作によって診断装置１０に対する情報が入力される入力部である。表示装置は、処理結果などの情報をオペレータに対して表示出力する出力部である。

【0021】

通信ＩＦ１５は、通信回線（ネットワーク）を介して他の装置との通信を行うインターフェース（通信モジュール）であり、ＣＣＵ（Communication Control Unit）とも称す。例えば、通信ＩＦ１５は、患者２０の自宅など診断装置１０とは別の場所に配置されたコンピュータや撮影装置から情報を受信する構成、又はこれらへ情報を送信する構成であってもよい。

【0022】

撮影装置１６は、患者２０の顔を所定期間撮影して動画データを取得し、入出力ＩＦ１４を介して制御部１２へ入力する。撮影装置１６は、所謂カメラであるが、動画データを取得できれば、三次元センサやＴｏＦ（Time of Flight）センサであってもよい。また、撮影装置１６は、水平方向に離間した二つのカメラで患者２０の顔を撮影することにより三次元情報を得ることが可能なステレオカメラであってもよい。

【0023】

撮影装置１６は、例えば、患者２０と正対して配置され、患者が居る空間の垂直方向及び水平方向と撮影画像の垂直方向及び水平方向とが一致するように配置されている。このため例えば患者２０が顔を垂直方向に対して傾けた場合に、この傾きを画像上から識別できるように設定されている。

【0024】

診断装置１０の上記構成要素１１～１６は、それぞれ複数設けられてもよく、一部の構成要素が省略されてもよい。例えば、診断装置１０は、撮影装置１６を備えず、外部の撮影装置で撮影した患者２０の画像を入出力ＩＦ１４や通信ＩＦ１５を介して取得する構成としてもよい。

【0025】

本実施形態の診断装置１０では、制御部１２が、アプリケーションプログラムを実行することにより、制御部１２が、特徴点決定部１１１、前処理部１１２、特徴量算出部１１３、機械学習部１１４、診断部１１５、結果出力部１１６といった各処理部として機能する。即ち、制御部１２は、実行するソフトウェアに応じて各処理部として兼用され得る。但し、上記各処理部の一部又は全部が、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等の専用ＬＳＩ（large scale integration）、論理回路、その他のデジタル回路
といったハードウェアで形成されたものであってもよい。また、上記各処理部の少なくとも一部にアナログ回路を含む構成としてもよい。制御部１２は、一つのプロセッサが複数の処理部として機能する構成であっても、一つの処理部として機能するプロセッサを複数備える構成であってもよい。

【0026】

特徴点決定部１１１は、撮影装置１６で撮影撮影された動画像を撮影装置１６から取得する、或は他の装置で撮影された動画像を入出力ＩＦ１４若しくは通信ＩＦ１５を介して取得し、当該動画像から時系列に画像データを取得する。例えば、１秒間当り複数のフレームを撮影することで動画が構成されている場合、各フレームを撮影順に取得して画像データとする。なお、動画のフレームレートは、特段限定されるものではないが、例えば１５ｆｐｓ～１２０ｆｐｓが挙げられ、２５ｆｐｓ～９０ｆｐｓが望ましく、３０ｆｐｓ～６０ｆｐｓが更に望ましい。本実施形態における動画のフレームレートは、３０ｆｐｓである。なお、取得した動画像のフレームレートが、診断モデルに入力する画像データのレート（１秒間当りの画像の枚数）と異なる場合、フレームを間引いて画像データの数を削減することや、フレームを補間して画像データの数を増加させることにより、調整を行ってもよい。

【0027】

また、特徴点決定部１１１は、各画像データから特徴点を抽出する。図２は、特徴点を抽出する処理の説明図である。図２において符号４０が画像データとして取得される画像の一例を示す。特徴点決定部１１１は、パターンマッチングにより、画像４０から人の顔４１を識別し、この顔４１から、目４２、眉４３、鼻４４、口唇４５などのパーツを識別する。そして、特徴点決定部１１１は、各パーツにおける所定箇所を特徴点として求める。例えば、鼻４４であれば、鼻先（鼻の最も前側に位置する箇所）４０１や、鼻の稜線に位置する箇所４０２、鼻の輪郭に位置する箇所４０３、鼻の穴の輪郭に位置する箇所４０４などを特徴点とすることが挙げられる。また、口唇４５であれば、口唇の左右端部４０５、上唇の輪郭に位置する箇所４０６、下唇の輪郭に位置する箇所４０７、口唇の周囲に位置する箇所４０８などを特徴点とすることが挙げられる。この他、頬、顎、及び顔の輪郭（フェイスライン）に位置する箇所などを特徴点としてもよい。なお、図２では、一部の特徴点にのみ符号を付したが、上記特徴点４０１～４０８と同様のドットが特徴点を示している。なお、図２では、一部の特徴点を省略して示しており、本実施形態では、例えば４６８点の特徴点を定めている。なお、特徴点の位置や数は、一例であり、これに限定されるものではない。

【0028】

前処理部１１２は、各画像データについて、スケーリング、特徴点の位置情報取得、及び欠落した特徴点の補完などの前処理を行う。例えば、画像データに写る顔の大きさが患者毎に異なると、特徴点が変位した場合の変位の大きさを正しく評価できないため、図２に示すように顔の上下方向の長さＬＨや、左右方向の長さＬＷ、左目の中心と右目の中心との距離ＬＥなど、患者２０の顔における所定箇所の長さが規定の大きさとなるようにスケーリングする。

【0029】

また、前処理部１１２は、各画像データにおいて座標を定め、各特徴点の位置情報を取得する。例えば、顔の基準部位、本理では鼻先４０１を原点とし、垂直方向をＹ軸、水平方向をＸ軸、奥行き方向をＺ軸とし、この座標系における各特徴点の座標を位置情報として求める。即ち、顔の各パーツの鼻先（基準部位）４０１に対する相対的な位置の変化を求める。なお、顔の基準部位は、鼻に限らず、右目と左目との間における中央などであってもよい。

【0030】

なお、撮影装置１６が、二次元画像を撮影する装置の場合、画像データから取得される位置情報は、Ｙ軸上の位置と、Ｘ軸上の位置となる。しかしながら、撮影装置１６側に向いた場合の人の顔は、鼻先が撮影装置１６側（手前側）に位置し、目や頬等のパーツは鼻先よりも奥側に位置し、鼻の周辺からフェイスライン側へ向かうに連れて徐々に奥側に位置するような曲面となっている。このため、一般的な顔の曲面（以下、規定曲面とも称す）における三次元座標を規定し、各特徴源のＸＹ座標に基づいて、各特徴点をこの規定曲面上にマッピングし、マッピングした位置のＺ座標を当該特徴点のＺ座標として推定する。

【0031】

更に、患者２０が左を向いた場合、顔の左側部分が奥側に位置するように、顔の向きによっても各特徴点の奥行き方向の位置が変わるため、前処理部１１２は、各画像データについて顔の向きを求め、この顔の向きに応じて各特徴点のＺ座標を推定する。なお、Ｚ座標の推定方法は、これに限らず、他の推定方法を用いてもよい。

【0032】

また、撮影装置１６としてステレオカメラを用いた場合、前処理部１１２は、このステレオカメラで撮影したステレオ画像から、各特徴点の三次元座標を求めてもよい。更に、撮影装置１６として三次元スキャナやＴｏＦセンサを用いた場合、前処理部１１２は、この三次元スキャナやＴｏＦセンサの測定結果から各特徴点の三次元座標を求めてもよい。

【0033】

なお、患者２０が横を向いた場合や、患者２０が下を向いた場合など、顔の向きによっ
ては、顔の奥側部分が、正面に配置した撮影装置１６において撮影されず、一部の特徴点のデータが欠落することがある。このため、前処理部１１２は、各画像データにおいて患者２０の顔の向きを求め、この向きに応じて、前述の推定方法と同様に画像に写っていない特徴点の位置を規定曲面上の位置から推定し、位置情報を補完する。

【0034】

特徴量算出部１１３は、前処理部１１２で時系列に求めた各特徴点の時間経過に伴う位置情報の変化に基づいて、各特徴点の特徴量を求める。ここで、特徴量は、例えば、時間経過に伴う位置情報の変化量について求めた、平均値、中央値、標準偏差、分散、最小値、最大値、歪度、尖度、総和、二乗和、平均値を跨いだ回数、及び平均パワースペクトルのうち、少なくとも一つが挙げられる。

【0035】

図３は、特徴点の時間的変位を示す図、図４は、特徴点の時間経過に伴う位置の変化を示すグラフである。図３では、口唇４５に含まれる特徴点４５１が、タイミングｔ１からタイミングｔ４へ時間が経過するのに伴って、Ｙ軸方向下側へ移動した場合を示している。図４では、横軸に時間をとり、縦軸にＹ座標の値をとって、実線５０が特徴点４５１の位置の変化を示している。特徴量算出部１１３は、この時間経過に伴って変化するＹ座標の値、即ち鼻先（原点）からの距離の変化を所定時間間隔（ウィンドウとも称す）ｔｗで区分し、このウィンドウｔｗ毎に得たＹ座標の値について、平均値、中央値、標準偏差、分散、最小値、最大値、歪度、尖度、総和、二乗和、平均値を跨いだ回数、及びパワースペクトル密度平均といった統計量を算出して特徴量とする。同様に各特徴点のＸ座標の値及びＺ座標の値についても夫々特徴量を算出する。即ち、４６８個の特徴点における３つの座標値（Ｘ，Ｙ，Ｚ座標の値）について、それぞれ上記１２個の統計値を求めた場合、各特徴点について１６８４８の特徴量が得られる。

【0036】

錐体外路症状には「繰り返し唇をすぼめる」「口をもぐもぐさせる」「口を突き出す」などの外見的特徴がある。この特徴を捉えるため、上記特徴量のうち、特に標準偏差、分散、平均値を跨いだ回数、及び平均パワースペクトルが有効である。なお、平均値を跨いだ回数とは、座標値が時間の経過に伴い、平均より低い値から平均より高い値へ変化した場合、或は平均より高い値から平均より低い値へ変化した場合に、回数を増加させ、全期間中の回数を積算したものである。

【0037】

図５は、パワースペクトルの説明図である。図５におけるグラフ５１は、横軸に時間、縦軸に信号の強度をとり、ランダムな信号の時間推移を示している。グラフ５２は、この信号のパワースペクトルと呼ばれるものであり、横軸が周波数、縦軸が各周波数成分の強さを示している。ランダムな信号の場合、グラフ５２に示すようにパワースペクトルの分布もランダムとなる。

【0038】

これに対し、グラフ５３は、ランダムな信号に２つの周期性信号を足し合わせた信号の時間推移を示している。そして、この信号のパワースペクトルをグラフ５４に示している。グラフ５４に示されるように、周期性を持つ信号の場合、パワースペクトルにおいて、周期性信号の周波数に相当する箇所に鋭いピークが現れる。このようなパワースペクトルにおいて、周波数kを0,1,・・・,K-1とした時、平均パワースペクトル(mse)は、式（１）から求まる。

【数1】

【0039】

このように平均パワースペクトルは、特定の周波数成分を多く持つ信号の場合、その周
波数におけるＦ(k)が非常に大きくなり、また、２乗されることで更に大きな値となる。
この結果、「口をもぐもぐさせる」といった反復運動に起因する特定の周波数成分を含む信号の平均パワースペクトルは、そうでない信号と比べて大きな値になると推定される。このため、平均パワースペクトルを求めることで、変位の周期性を捉えることができる。

【0040】

機械学習部１１４は、学習用の動画について、特徴点決定部１１１及び前処理部１１２で求めた各特徴点の特徴量と、教師ラベルとに基づいて機械学習を行い、学習済み診断モデルを生成する。なお、診断モデルは、ディープラーニングによって学習処理が施されたニューラルネットワークを一部に含むもの、或は全てが当該ニューラルネットワークから成るものであってもよい。ここで、教師ラベルは、例えば、医師などが、学習用の動画について錐体外路症状の程度を評価したものである。本実施形態における錐体外路症状の程度は、例えば、振戦、ジスキネジア、及びジストニアといった症状の夫々のレベルを０～４の５段階で評価したものである。なお、レベル０は、症状が認められない状態を示し、レベルの数値が大きい程、症状が顕著に表れている状態を示す。

【0041】

診断部１１５は、患者２０を撮影した動画像について、特徴点決定部１１１及び前処理部１１２で求めた各特徴点の特徴量を診断モデルに入力することにより、錐体外路症状の程度を算出する。

【0042】

結果出力部１１６は、診断部１１５で算出した錐体外路症状の程度を表示部に表示すること等によって出力する。なお、錐体外路症状の程度の出力は、表示に限らず、印刷や、他の装置への送信、記録媒体への記録であってもよい。

【0043】

また、結果出力部１１６は、錐体外路症状の程度を算出した際、当該算出結果への影響度が高い特徴点を求めて、これを出力してもよい。図６は、影響度が高い１０点の特徴点４５０を求めて、画像に重畳して表示した例を示す。これにより、顔のどの部位が評価結果に影響したのかを示すことができる。結果出力部１１６は、例えば、診断モデルの目標変数である錐体外路症状の程度に対し、相関性の高い特徴変数（各特徴量）、例えば、目標変数との相関係数が所定以上の特徴量の値をデータテーブルや関数等から求めて基準値とする。そして、結果出力部１１６は、特徴点決定部１１１で決定した各特徴点における各特徴量を夫々の基準値と比較し、基準値に達する特徴量が多いほど影響度が高いものとし、影響度が高い順にランキングして所定数の特徴点を求める。具体的には、ジスキネジアのレベルが２の場合に採り得る特徴量の値や、ジスキネジアのレベルが３の場合に採り得る特徴量の値などのように、症状とレベル毎に基準値を定義したデータテーブルや関数等を定義し、診断結果に応じた基準値を設定しておく。なお、本実施形態では、標準偏差、平均値を跨いだ回数、及び平均パワースペクトル等、１２の特徴量を用いているため、それぞれについて基準値を設定。

【0044】

なお、特徴量が「基準値に達する特徴量」のほか、「基準値に近い特徴量」を求めても良い。特徴量が「基準値に近い」とは、例えば、特徴量が基準値から所定範囲内にある場合である。そして、結果出力部１１６は、各特徴点について、複数の特徴量のうち、基準値と近いものをカウントし、影響度とする。これに限らず、結果出力部１１６は、特徴量と比較する範囲を複数設定することで、特徴量と基準値の近さを複数段階で判定してもよい。例えば、基準値を中心とした所定範囲を第一範囲、第一範囲よりも広い第二範囲、第二範囲よりも広い第三範囲などのように、基準値を中心とした複数の範囲を定め、特徴量がどの範囲に含まれるかによって特徴点と基準値の近さを判定する。この場合、結果出力部１１６は、例えば、特徴量が第一範囲に含まれる場合に最も高い重み係数を付与し、特徴量が第一範囲を超えて第二範囲に含まれる場合に二番目に高い重み係数を付与し、特徴量が第二範囲を超えて第三範囲に含まれる場合に三番目に高い重み係数を付与するといったように、特徴量が含まれる範囲に応じて重み係数を付与する。そして、結果出力部１１
６は、各特徴点において、複数の特徴量の重み係数を積算し、影響度として求めてもよい。この場合、各範囲の大きさや重み係数の値は、比較する特徴量毎に適宜定めることができる。例えば、標準偏差、分散、平均値を跨いだ回数、又は平均パワースペクトルについては、他の特徴量の場合より、近さを判定する範囲が広く設定されてもよく、また、付加する重み係数の値が大きく設定されてもよい。なお、錐体外路症状の程度に対して、相関性の高い特徴量の値を求める手法は、例えば、ＳＨＡＰ（Lundberg, Scott M., and Su-In Lee. "A unified approach to interpreting model predictions." Advances in Neural Information Processing Systems. 2017. https://arxiv.org/abs/1705.07874）といった技術を用いることができる。また、影響度を求める手法は、上記に限らず、他の手法を用いて算出してもよい。

【0045】

《機械学習処理》
図７は、診断装置１０の制御部１２が、プログラムにしたがって機械学習を行う処理を示す図である。制御部１２は、機械学習の開始が指示されると、図７の処理を実行する。

【0046】

ステップＳ１０にて、制御部１２は、学習用データを補助記憶装置や入出力ＩＦ１４に接続した記憶媒体から取得する。なお、学習用データは、例えば機械学習のために予め患者２０を撮影した動画像と、当該患者２０について医師等が錐体外路症状の程度を評価した教師ラベルとを含むものである。

【0047】

ステップＳ２０にて、制御部１２は、ステップＳ１０で取得した動画像から特徴点を抽出する。なお、錐体外路症状は、目元や口元の周期的な動きとして現れる傾向があるため、患者（対象者）の顔の部位であって、目、当該目の周辺部、唇、及び当該唇の周辺部を含む特定の部位を特徴点として含むことが望ましい。

【0048】

ステップＳ３０にて、制御部１２は、ステップＳ２０で求めた特徴点について、スケーリング、特徴点の位置情報取得、及び欠落した特徴点の補完などの前処理を行う。

【0049】

ステップＳ４０にて、制御部１２は、ステップＳ３０で求めた特徴点の位置情報を取得し、この各特徴点の時間経過に伴う位置情報の変化に基づいて、各特徴点の特徴量を求める。本実施形態では、各特徴点に係る位置情報の変化量について、平均値、中央値、標準偏差、分散、最小値、最大値、歪度、尖度、総和、二乗和、平均値を跨いだ回数、及び平均パワースペクトルといった１２の特徴量を求める。

【0050】

ステップＳ５０にて、制御部１２は、ステップＳ４０で求めた特徴量と、ステップＳ１０で取得した教師ラベルとに基づいて、機械学習を行い、診断モデルを生成する。

【0051】

ステップＳ６０にて、制御部１２は、全ての学習データについて学習が完了したか否かを判定し、否定判定であればステップＳ１０へ戻り、肯定判定であれば図７の処理を終了する。

【0052】

《錐体外路症状の診断処理》
図８は、診断装置１０の制御部１２が、錐体外路症状診断プログラムに従って実行する処理を示す図である。制御部１２は、診断の開始が指示されると、図８の処理を実行する。

【0053】

ステップＳ１１０にて、制御部１２は、患者２０を撮影した動画像を撮影装置１６や、補助記憶装置、或は入出力ＩＦ１４に接続した記憶媒体から取得する。

【0054】

ステップＳ１２０にて、制御部１２は、ステップＳ１１０で取得した動画像から特徴点
を抽出する。ここで抽出する特徴点は、図７に示す機械学習処理のステップＳ２０で求めるものと同じである。

【0055】

ステップＳ１３０にて、制御部１２は、ステップＳ１２０で求めた特徴点について、スケーリング、特徴点の位置情報取得、及び欠落した特徴点の補完などの前処理を行う。

【0056】

ステップＳ１４０にて、制御部１２は、ステップＳ１３０で求めた特徴点の位置情報を取得し、この各特徴点の時間経過に伴う位置情報の変化に基づいて、各特徴点の特徴量を求める。ここで算出する特徴量は、図７に示す機械学習処理のステップＳ４０で求めるものと同じ、平均値、中央値、標準偏差、分散、最小値、最大値、歪度、尖度、総和、二乗和、平均値を跨いだ回数、及び平均パワースペクトルといった１２種類の特徴量である。

【0057】

ステップＳ１５０にて、制御部１２は、ステップＳ１４０で求めた特徴量を診断モデルに入力し、患者２０の錐体外路症状の程度を算出する。

【0058】

ステップＳ１６０にて、制御部１２は、ステップＳ１５０で算出した錐体外路症状の程度を診断結果として出力する。また、制御部１２は、当該診断結果への影響度が高い特徴点を求め、これらを画像に重畳して図６に示すように表示する。

【0059】

このように本実施形態の診断装置１０は、患者２０を撮影した動画像から、特徴点を抽出し、この特徴点の時間経過に伴う位置の変化に基づいて特徴量を求め、この特徴量に基づきＡＩで錐体外路症状の程度を算出する。これにより、診断装置１０は、一定の基準で機械的に診断を行うので、長期にわたる症状進行具合や、治療の成果などを適切に評価できる。

【0060】

また、本実施形態の診断装置１０は、診断結果への影響度が高い特徴点を画像に重畳して表示するので、錐体外路症状がどこで発生しているか、例えば目の周りなのか、口の周りなのか、頬なのか、それが、右側なのか、左側なのかなどを患者２０や医師に提示することができる。また、どの部位の動きによって、当該診断結果となったのかが提示されるので、医師や患者２０が的確に診断結果を把握することができ、診断装置１０の信頼度を向上させることができる。

【0061】

《その他》
以上の実施形態は、一例であり明細書及び図面に例示した構成に限定されるものではない。例えば、前述の診断装置１０は、機械学習を行う機能と診断を行う機能を備えたが、機械学習を行う装置と診断を行う装置とが別体に構成されてもよい。また、診断装置１０は、ネットワークを介して動画像を取得し、この動画像に基づいて診断した結果を返信するサーバであってもよい。

【符号の説明】

【0062】

１０: 錐体外路症状診断装置（診断装置）
１１: 接続バス
１１１: 特徴点決定部
１１２: 前処理部
１１３: 特徴量算出部
１１４: 機械学習部
１１５: 診断部
１１６: 結果出力部
１２: 制御部
１２: 上記
１３: メモリ
１６: 撮影装置
２０: 患者
４０: 画像
４０１: 鼻先
４０１～４０８，４５０，４５１: 特徴点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【手続補正書】

【提出日】2022-11-07

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

診断の対象者を撮影した動画像から時系列に画像データを取得することと、
前記画像データから前記対象者の特徴点を複数求め、各特徴点の位置情報を時系列に求めることと、
時系列に求めた前記各特徴点の時間経過に伴う位置情報の相対的な変化に基づいて、各特徴点の特徴量を求めることと、
各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う位置情報の相対的な変化に基づいて推定される、振戦の程度、ジスキネジアの程度、又はジストニアの程度を錐体外路症状の程度として算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力して、当該動画像について前記錐体外路症状の程度を出力することと、
を実行する制御部を備える錐体外路症状診断装置。

【請求項2】

前記特徴量が、時間経過に伴う前記位置情報の変化量について求めた、平均値、中央値、標準偏差、分散、最小値、最大値、歪度、尖度、総和、二乗和、平均値を跨いだ回数、及び平均パワースペクトルのうち、少なくとも一つである請求項１に記載の錐体外路症状診断装置。

【請求項3】

各特徴点における前記位置情報の時間経過に伴う変化が、前記対象者の顔の基準部位を基準とする相対的な位置の変化である請求項１又は２に記載の錐体外路症状診断装置。

【請求項4】

前記顔の基準部位は鼻であり、前記特徴点が、前記対象者の顔の部位であって、唇、及び当該唇の周辺部を含む特定の部位である請求項３に記載の錐体外路症状診断装置。

【請求項5】

前記制御部が、
前記錐体外路症状の程度を算出した際、当該算出結果への影響度が高い前記特徴点を求めることと、
前記影響度が高い前記特徴点を前記対象者の画像上に重畳して表示することと、
を更に実行する請求項１～４の何れか１項に記載の錐体外路症状診断装置。

【請求項6】

診断の対象者を撮影した動画像から時系列に画像データを取得することと、
前記画像データから前記対象者の特徴点を複数求め、各特徴点の位置情報を時系列に求めることと、
時系列に求めた前記各特徴点の時間経過に伴う位置情報の相対的な変化に基づいて、各特徴点の特徴量を求めることと、
各特徴点の前記特徴量が入力された際に、前記各特徴点の時間経過に伴う位置情報の変化に基づいて前記各特徴点の時間経過に伴う位置情報の相対的な変化に基づいて推定される、振戦の程度、ジスキネジアの程度、又はジストニアの程度を錐体外路症状の程度として算出するように、教師データを用いた機械学習処理が施された学習済み診断モデルに、前記対象者を撮影した前記動画像から求めた前記特徴量を入力することにより、前記錐体外路症状の程度を出力することと、
を制御部に実行させるための錐体外路症状診断プログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００２６

【補正方法】変更

【補正の内容】

【0026】

特徴点決定部１１１は、撮影装置１６で撮影された動画像を撮影装置１６から取得する、或は他の装置で撮影された動画像を入出力ＩＦ１４若しくは通信ＩＦ１５を介して取得し、当該動画像から時系列に画像データを取得する。例えば、１秒間当り複数のフレームを撮影することで動画が構成されている場合、各フレームを撮影順に取得して画像データとする。なお、動画のフレームレートは、特段限定されるものではないが、例えば１５ｆｐｓ～１２０ｆｐｓが挙げられ、２５ｆｐｓ～９０ｆｐｓが望ましく、３０ｆｐｓ～６０ｆｐｓが更に望ましい。本実施形態における動画のフレームレートは、３０ｆｐｓである。なお、取得した動画像のフレームレートが、診断モデルに入力する画像データのレート（１秒間当りの画像の枚数）と異なる場合、フレームを間引いて画像データの数を削減することや、フレームを補間して画像データの数を増加させることにより、調整を行ってもよい。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００２９

【補正方法】変更

【補正の内容】

【0029】

また、前処理部１１２は、各画像データにおいて座標を定め、各特徴点の位置情報を取得する。例えば、顔の基準部位、本例では鼻先４０１を原点とし、垂直方向をＹ軸、水平方向をＸ軸、奥行き方向をＺ軸とし、この座標系における各特徴点の座標を位置情報として求める。即ち、顔の各パーツの鼻先（基準部位）４０１に対する相対的な位置の変化を求める。なお、顔の基準部位は、鼻に限らず、右目と左目との間における中央などであってもよい。