(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-07-04
(45)【発行日】2022-07-12
(54)【発明の名称】定頸診断装置およびプログラム
(51)【国際特許分類】
G16H 50/00 20180101AFI20220705BHJP
【FI】
G16H50/00
(21)【出願番号】P 2021047052
(22)【出願日】2021-03-22
【審査請求日】2021-04-21
(73)【特許権者】
【識別番号】321000749
【氏名又は名称】細野 晃弘
(74)【代理人】
【識別番号】110003214
【氏名又は名称】特許業務法人服部国際特許事務所
(72)【発明者】
【氏名】細野 晃弘
【審査官】永野 志保
(56)【参考文献】
【文献】株式会社センスタイムジャパン,"ディープラーニングの今を探る",映像情報インダストリアル 第48巻 第12号 Industrial,日本,産業開発機構(株),2016年12月01日,第48巻,p.82-p.85
【文献】渡辺 翔吾,DaTSCAN SPECT画像を用いた機械学習によるパーキンソン症候群の診断支援システムの多施設間頑健性の評価,第63回 システム制御情報学会 研究発表講演会講演論文集 [CD-ROM] 第63回システム制御情報学会 研究発表講演会 講演論文集 The 63rd Annual Conference of the Institute of Systems, Control and Information Engineers The 63rd Annual Conference of the Institute of Systems, Control and Information Engineers,日本,2019年05月24日,p.453-p.455
(58)【調査した分野】(Int.Cl.,DB名)
G16H 50/00
(57)【特許請求の範囲】
【請求項1】
人工知能(以下AI)(40)を活用した乳幼児健診のための定頸診断装置(100)であって、
引き起こし反射の検査中の乳幼児の動きを含む学習動画および診断動画を撮影するためのカメラ(1)と、
前記学習動画について、専門医師が反射動作の有無の診断に必要な領域を含むように矩形領域を区画し、且つ前記診断に必要な動きを含む時間領域を区画し、前記専門医師が前記時間領域の前記矩形領域における動きデータから反射動作の有無を診断し、前記動きデータと診断結果とを対応させて作成した教師データを記憶する教師データ部(50)と、
前記教師データについて前記AIに機械学習させる訓練部(60)と、
前記教師データについて機械学習させた前記AIに、前記診断動画について反射動作の有無を診断させてAI診断を得る診断部(70)と、
前記AI診断を表示するディスプレイ(2)と、
を備える定頸診断装置。
【請求項2】
前記診断部は、前記専門医師が前記AI診断を検証し、前記AI診断を誤りと判断した場合、前記AI診断を修正して修正AI診断とし、前記修正AI診断を記憶する請求項1に記載の定頸診断装置。
【請求項3】
前記教師データ部は、前記診断部に記憶された前記修正AI診断を前記教師データに追加し、更新教師データとして記憶する請求項2に記載の定頸診断装置。
【請求項4】
前記訓練部は、前記教師データが前記更新教師データとして前記教師データ部に記憶されると、前記更新教師データについて前記AIに再び機械学習させる請求項3に記載の定頸診断装置。
【請求項5】
人工知能(以下AI)を活用した乳幼児健診のための定頸診断プログラムであって、
引き起こし反射の検査中の乳幼児の動きを含む学習動画について、専門医師が反射動作の有無の診断に必要な領域を含むように矩形領域を区画し、且つ前記診断に必要な前記動きを含む時間領域を区画し、前記専門医師が前記時間領域の前記矩形領域における動きデータから反射動作の有無を診断し、前記動きデータと前記診断の結果とを対応させた教師データを作成し、記憶する手段、
前記教師データについて前記AIに機械学習させる手段、
前記教師データについて機械学習させた前記AIに、引き起こし反射の検査中の乳幼児の動きを含む診断動画について反射動作の有無を診断させてAI診断を得る手段、
としてコンピュータを機能させる定頸診断プログラム。
【請求項6】
前記AI診断を得る手段は、前記専門医師が前記AI診断を検証し、前記AI診断を誤りと判断した場合、前記AI診断を修正して修正AI診断とし、前記修正AI診断を記憶する請求項5に記載の定頸診断プログラム。
【請求項7】
前記記憶する手段は、前記教師データに前記修正AI診断を追加し、更新教師データとする請求項6に記載の定頸診断プログラム。
【請求項8】
前記機械学習させる手段は、前記更新教師データについて前記AIに再び機械学習させる請求項7に記載の定頸診断プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、乳幼児健診における定頸診断装置およびプログラムに関する。
【背景技術】
【0002】
乳幼児の3か月健康診査(以下、3か月健診)は、母子保健法には記載がないが、小児科学的に重要であるため、多くの市町村で実施されている。3か月健診では、生後3か月時点における発達診断の重要所見である定頸の有無について診断を行う。
【0003】
乳幼児の未定頸は脳性麻痺、神経筋疾患および代謝疾患等が疑われる重要所見である。また、ある時点の結果のみで発達遅滞の有無を診断することはできないため、3か月健診で未定頸と診断された場合、必ず精密検査や経過観察の対象となる。このため児や保護者にとっては負担である。
【0004】
ここで、定頸診断には、重要所見であるにもかかわらず、多様な基準が存在し、いまだ標準化された指標がないという問題がある。このため、健診現場では医師の個人的技能に依存した状態で定頸診断を行っているが、これは小児科医であっても自身の診断の精度を客観的に把握できていないこと、後進医師への指導もままならない状況にあることを示唆しており、問題である。
【0005】
また、医師不足および偏在は以前より問題となっているが、近年の働き方改革の影響もあって小児科医が臨床現場で労働時間を使い切ってしまう傾向が強まっており、近い将来、健診現場における小児科医の確保が困難になると予想される。これに加え、直近の新型コロナウイルス感染症の影響もあり、現場に医師が不在でも高度医療を提供できるような遠隔医療、在宅診療のニーズが高まっている。
【0006】
他方、人工知能(AI)による機械学習、深層学習などの技術が近年急速に発展している。多方面への適用が試みられ、疫学研究や医学論文解析など医療への応用も始まっている。機械学習を医療分野に適用する技術については、例えば特許文献1、2に記載されている。
【先行技術文献】
【特許文献】
【0007】
【文献】特開2019-154943号公報
【文献】特許第6582171号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
これらの課題を解決するには、専門医師でなくても正確に診断できるように定頸診断を標準化すること、専門医師の立ち会いがなくても未定頸児を確実にフォローアップできる体制を構築することが求められる。
【0009】
本発明は上記の点に鑑みて創作されたものであり、その目的は、定頸診断で必ず検査される「引き起こし反射」に注目し、診察場面を撮影した動画に基づいて、引き起こし反射検査における乳幼児の反射動作の有無を人工知能に診断させる定頸診断装置およびプログラムを作成し、スマートフォンアプリなどとして使いやすく提供することにある。
【課題を解決するための手段】
【0010】
本発明の一態様は、人工知能(以下AI)(40)を活用した乳幼児健診のための定頸診断装置(100)であって、カメラ(1)と、教師データ部(50)と、訓練部(60)と、診断部(70)と、ディスプレイ(2)とを備える。カメラは、引き起こし反射の検査中の乳幼児の動きを含む学習動画および診断動画を撮影する。教師データ部は、専門医師が、学習動画について、反射動作の有無の診断に必要な領域を含むように矩形領域を区画し、且つ診断に必要な動きを含む時間領域を区画し、専門医師が時間領域の矩形領域における動きから反射動作の有無を診断し、動きと診断結果とを対応させて作成した教師データを保存する。訓練部は、教師データをAIに機械学習させる。診断部は、教師データを機械学習させたAIに、診断動画について、反射動作の有無を診断させてAI診断を得る。ディスプレイは、AI診断を表示する。
【0011】
なお、本発明の定頸診断装置は、物理的に一体化された一つの筐体(例えばスマートフォン)の内部にすべての要素が収容されることを要しない。例えば訓練部以外の要素が主となる筐体内部に設けられ、訓練部のみが筐体の外部に設けられてもよい。このように、物理的な形態にかかわらず、各要素を機能的に結合した集合体を「定頸診断装置」と解釈する。
【0012】
これにより、専門医師が立ち会わなくても看護師や保護者などが引き起こし反射の検査を行って診察動画を撮影するだけで定頸診断ができるようになり、医師不足などの悪影響を回避できるほか、未定頸児の的確なフォローアップが容易になると考えられる。
【0013】
本発明の別の態様は、人工知能(以下AI)を活用した乳幼児健診のための定頸診断プログラムであって、記憶する手段、機械学習させる手段、AI診断を得る手段としてコンピュータを機能させる。記憶する手段は、引き起こし反射の検査中の乳幼児の動きを含む学習動画について、専門医師が反射動作の有無の診断に必要な領域を含むように矩形領域を区画し、且つ診断に必要な動きを含む時間領域を区画し、専門医師が時間領域の矩形領域における動きデータから反射動作の有無を診断し、動きデータと診断の結果とを対応させた教師データを作成し、記憶する。機械学習させる手段は、教師データについてAIに機械学習させる。AI診断を得る手段は、教師データについて機械学習させたAIに、引き起こし反射の検査中の乳幼児の動きを含む診断動画について反射動作の有無を診断させてAI診断を得る。
【0014】
これにより、上記の定頸診断装置と同様の効果を得る。
【図面の簡単な説明】
【0015】
【
図2】第1実施形態による定頸診断装置のイメージ図。
【
図3】第1実施形態による定頸診断装置の機能構成図。
【
図4】第1実施形態による定頸診断装置のハードウェア構成図。
【発明を実施するための形態】
【0016】
以下、本発明の第1実施形態を図面に基づき説明する。
図1に定頸診断の概要を示す。定頸診断では乳児の首がすわったかどうかを引き起こし反射の検査を行って診断することが一般的である。この診断では検査者がベッドにあおむけになった乳児の両手首を持って上方に引き上げる。このとき、乳児が頭を起こす動きをし、側面からみて胴と頭が略直線状になれば「定頸(あり)」、乳児の頭がそのように追随しなければ「未定頸(定頸なし)」と診断する。
【0017】
(第1実施形態)
第1実施形態の定頸診断装置100は、主に動画撮影可能なスマートフォン向けアプリとして実施される。
図2に定頸診断アプリ実施品のイメージを示す。このアプリをインストールしたスマートフォンにより、引き起こし検査中の乳児を真横から撮影すると、動画の引き起こし検査の様子をAIが検討し、定頸か未定頸かを判定する。
【0018】
[定頸診断装置]
本発明の第1実施形態の機能構成を
図3に示す。これは人工知能40(以下AI40)を活用した乳幼児健診のための定頸診断装置100であって、AI40、カメラ1、教師データ部50、訓練部60、診断部70、ディスプレイ2を備える。
【0019】
カメラ1は引き起こし検査中の乳幼児の動きを含む学習動画または診断動画を撮影するために用いられる。
【0020】
教師データ部50は、教師データの作成・保存機能を有する。この教師データは、撮影された学習動画について、専門医師がまず反射動作の有無を診断するのに必要な領域を含むように矩形領域を区画し、且つ診断に必要な動きを含む時間領域を区画し、次に当該時間領域・矩形領域における乳児の動きから反射動作の有無を診断し、さらに当該動きと診断結果とを対応させることにより作成する。この教師データは、定頸診断装置100を用いて作成することもできるが、出来合いのものをネットワーク経由でダウンロードできるようにされていてもよい。
【0021】
訓練部60は、教師データをAI40に機械学習させる。
【0022】
診断部70は、引き起こし反射検査中の乳幼児の動きを含む診断動画について、教師データを機械学習させたAI40に、反射動作の有無を診断させ、AI診断を得る。ディスプレイ2は、このAI診断を表示する。
【0023】
図3の左側に示す構成のように、訓練部60は、例えばAI40、教師データ部50、診断部70と同一の筐体内に設けられてもよい。また、
図3の右側に示すように、訓練部60はメイン筐体(図の左側)の外部に設けられてもよい。
図3の右側に示す構成では、教師データを用いたAI40の機械学習を筐体の外部で事前に行い、学習済みAIをメイン筐体に取り込んで使用するといった実施形式が可能になる。
【0024】
このように、第1実施形態の定頸診断装置は、物理的に一体化された一つの筐体(例えばスマートフォン)の内部にすべての要素が収容されることを要しない。例えば訓練部60以外の要素が主となる筐体内部に設けられ、訓練部のみが筐体の外部に設けられてもよい。このように、物理的な形態にかかわらず、各要素を機能的に結合した集合体が「定頸診断装置」である。
【0025】
第1実施形態はさらに以下の機能を有し、AI診断の精度を漸次向上させる。
(1)診断部は、専門医師がAI診断を検証し、AI診断を誤りと判断した場合、AI診断を修正して修正AI診断とし、修正AI診断を記憶する。
(2)教師データ部は、診断部に記憶された修正AI診断を教師データに追加し、更新教師データとして記憶する。
(3)訓練部は、教師データが更新教師データとして教師データ部に記憶されると、更新教師データについてAIに再び機械学習させる。
【0026】
なお、第1実施形態に含まれる機能のうち、教師データ作成、機械学習、結果検証などの機能は、アプリ提供事業者側に参加する専門医師らが使用するための機能であるため、これらは一般使用者向けアプリには含まれない。一般使用者には必要最小限度の機能のみが提供される。
【0027】
[ハードウェア構成]
図4に定頸診断装置100のハードウェア構成を示す。定頸診断装置100は、引き起こし反射検査中の乳幼児の動きを撮影した動画を認識して画像認識を行うもので、ハードウェアとしてカメラ1、ディスプレイ2、ストレージ3を含む。このうち、ストレージ3は、AI40、教師データ部50、訓練部60、診断部70として機能する。
【0028】
ストレージ3は、ハードウェアとしてCPU31、RAM32、GPU33、VRAM34を含む。
【0029】
ストレージ3は、画像処理機能を有するAI40を記憶しており、CPU31とGPU33がAI40を読み出して実行し、また教師データ部50、訓練部60、診断部70として機能する。ストレージ3はまた、定頸診断装置100全体を実行するプログラム群と、それらが実行されることで生成されるデータを記録する装置としても機能する。
【0030】
CPU31は、ストレージ3に格納された教師データ部50、訓練部60、診断部70として機能するプログラム群を実行するユニットである。RAM32は、揮発性メモリであって、DRAM、SRAMを含む。
【0031】
GPU33は、教師データ部50、訓練部60、診断部70における計算処理を実行するユニットである。VRAM34は、ディスプレイ2に画像または動画を表示するために必要なデータを保持する記憶領域である。
【0032】
ディスプレイ2は教師データ部50に外部から入力された教師データを確認するために用いられる。よってネットワークを介して接続した端末で別途教師データが確認可能にされている場合は不要である。
【0033】
定頸診断装置100はさらに、キーボード、マウス、グラフィックコントローラなどの入出力インターフェース、ネットワーク接続インターフェースを備え、ネットワーク接続を介したデータ入手などに対応可能である。
【0034】
[機械学習]
AI40は、訓練部60の指令によって教師データを機械学習し、深層学習を経て定頸診断プログラムを構築する。
図5にデータ集め、アノテーション(教師データ作成)、機械学習(ディープニューラルネットワーク設計・深層学習)を経て診断プログラム(推論器)完成に至るまでの一般的ワークフローを示す。詳細については例えば特許文献1、2に記載されているため省略する。なお定頸診断への機械学習の適用例は知られていない。
【0035】
このワークフローでは、最初に複数の診察動画(原動画201)を蓄積する。原動画201を手作業で仕分けし、専門医師の診断結果に基づいて引き起こし反射有り/無しのラベリング処理をし(指標ラベリング202)、学習動画203とする。これらを訓練動画2051と試験動画2052に区分する。
【0036】
また、ディープニューラルネットワーク(DNN)設計206を経て、AI40に訓練動画2051を機械学習207させ、引き起こし反射の有無を判定する原プログラムである推論器(訓練済みデータベース208)を作成する。この推論器に試験動画2052を参照させ、引き起こし反射の有無を再学習させる(機械学習209)。
【0037】
以上の機械学習による引き起こし反射の判定精度を検証し、目標範囲に達していなければ、ハイパーパラメータ調整211を行うなどして再び機械学習のプロセスに戻る。この作業を繰り返し、AI診断の精度が目標範囲に到達した時点で診断プログラム完成となり、ワークフローを閉じる(END206)。
【0038】
その後、この診断プログラムを備えたAI40を実際の健診現場で運用して判断試行を行い、定頸診断精度のブラッシュアップを行う。ブラッシュアップ試行においては、過剰学習(overtraining)により、人工知能が学習環境に過剰適合(overfitting)を起こすことが知られている。発明者の経験によれば、ブラッシュアップ試行に用いるサンプル数は、100例前後とすることが適当である。
【0039】
また、場合により、過小学習(undertraining)を回避するための正則化(regularization)、早期打ち切り(early stopping)といった公知手法を用いてもよい。
【0040】
[第1実施形態の効果]
上記の構成を備えた本実施形態により、専門医師が立ち会わなくても看護師などがスマートフォンのアプリをインストールし、起動し、引き起こし反射の検査を行ってその場面を撮影することで、手軽に、精度よく定頸診断を行うことができるようになり、医師不足などの影響を受けずに済むほか、保護者などが家庭で用いることで、児の定頸発達状況を的確に把握可能になると考えられる。
【0041】
なお、日本の乳幼児集団検診は、全国で9割を超す高受診率で実施される大規模なものであり、世界的にも類例のない制度といわれる。このため、保護者の研究参加意思確認と個人情報保護手段を適切に講じることを前提とした場合、乳幼児健診制度は乳幼児医療に係るビッグデータ収集にとって、またとない機会となり得る。この点に鑑みれば、本実施形態の定頸診断装置を乳幼児健診に活用することで、信頼性の高い定頸診断の手法確立に資するビッグデータが効率的に収集可能と考えられる。
【0042】
(第2実施形態)
本発明の第2実施形態は、人工知能(以下AI)を活用した乳幼児健診のための定頸診断プログラムであって、記憶する手段、機械学習させる手段、AI診断を得る手段としてコンピュータを機能させる。
【0043】
記憶する手段は、引き起こし反射の検査中の乳幼児の動きを含む学習動画について、専門医師が反射動作の有無の診断に必要な領域を含むように矩形領域を区画し、且つ診断に必要な動きを含む時間領域を区画し、専門医師が時間領域の矩形領域における動きデータから反射動作の有無を診断し、動きデータと診断の結果とを対応させた教師データを作成し、記憶する。
【0044】
機械学習させる手段は、教師データについてAIに機械学習させる。
【0045】
AI診断を得る手段は、教師データについて機械学習させたAIに、引き起こし反射の検査中の乳幼児の動きを含む診断動画について反射動作の有無を診断させてAI診断を得る。
【0046】
第2実施形態はさらに以下の機能を有し、AI診断精度を漸次向上させる。
(1)AI診断を得る手段は、専門医師がAI診断を検証し、AI診断を誤りと判断した場合、AI診断を修正して修正AI診断とし、修正AI診断を記憶する。
(2)記憶する手段は、教師データに修正AI診断を追加し、更新教師データとする。
(3)機械学習させる手段は、更新教師データについてAIに再び機械学習させる。
【0047】
[第2実施形態の効果]
第2実施形態によっても、第1実施形態(定頸診断装置)と同様の効果が得られる。
【0048】
(その他の実施形態)
第1実施形態による定頸診断装置は、スマートフォン向けアプリとして実施されることを想定しているが、本発明はスマートフォン向けに限らずネットワーク接続機能を有する情報端末を含め、さまざまな形式で利用可能であり、例えば医療機関向け専用機器などとして実施されてもよい。
【0049】
ネットワーク接続を経由してビッグデータを入手する際に通信される、画像および動画データなどを含む個人情報は、暗号化などの適切な防護手段を講じ、不正アクセスの排除を徹底することが望ましい。
【0050】
本発明は乳幼児の定頸診断を行うAI診断アプリを提供するものであるが、同様の手段の利用可能性は定頸診断に限定されるものではなく、例えば被験者の動きから診断可能なものなどは診療分野を問わず適用可能と考えられる。
【0051】
以上、本発明は上記の実施形態に限定されるものではなく、その趣旨を逸脱しない範囲において、さまざまな形態で実施することができる。
【符号の説明】
【0052】
100 定頸診断装置
1 カメラ
2 ディスプレイ
40 人工知能(AI)
50 教師データ部
60 訓練部
70 診断部
【要約】
【課題】定頸診断装置およびプログラムを提供する。
【解決手段】本発明の人工知能(AI)40を活用した定頸診断装置100は、カメラ1と、教師データ部50と、訓練部60と、診断部70と、ディスプレイ2と、を備える。カメラ1は引き起こし反射の検査中の乳幼児の動きを含む学習動画および診断動画を撮影する。教師データ部50は、専門医師が、学習動画について反射動作の有無の診断に必要な領域を含むように矩形領域を区画し、且つ診断に必要な動きを含む時間領域を区画し、時間領域の矩形領域における動きから反射動作の有無を診断し、動きと診断結果とを対応させて作成した教師データを保存する。訓練部60は、教師データをAI40に機械学習させる。診断部70は、教師データを機械学習させたAI40に、診断動画について反射動作の有無を診断させてAI診断を得る。ディスプレイ2は、AI診断を表示する。
【選択図】
図3