特許 7524859 診断支援装置、診断支援方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-22

(45)【発行日】2024-07-30

(54)【発明の名称】診断支援装置、診断支援方法及びプログラム

(51)【国際特許分類】

   A61B 10/00 20060101AFI20240723BHJP

   A61B 5/00 20060101ALI20240723BHJP

【ＦＩ】

A61B10/00 Q

A61B5/00 M

【請求項の数】 7

(21)【出願番号】P 2021121966

(22)【出願日】2021-07-26

(62)【分割の表示】P 2020565679の分割

【原出願日】2019-12-20

(65)【公開番号】P2021176562

(43)【公開日】2021-11-11

【審査請求日】2022-12-20

(31)【優先権主張番号】P 2019002461

(32)【優先日】2019-01-10

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001443

【氏名又は名称】カシオ計算機株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】青木 信裕

(72)【発明者】

【氏名】北條 芳治

(72)【発明者】

【氏名】峯尾 茂樹

(72)【発明者】

【氏名】武井 淳一

【審査官】山口 裕之

(56)【参考文献】

【文献】特開２０１６－２０６９５９（ＪＰ，Ａ）

【文献】特開２００３－００６３３５（ＪＰ，Ａ）

【文献】特開２００８－０４０９０６（ＪＰ，Ａ）

【文献】国際公開第２０１５／０１２０２８（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １０／００

Ａ６１Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

診察中の音声を収音する収音部と、
診察対象の患部の画像データが分析されることによる前記患部が悪性であるか否かの判断結果に基づいて、前記収音部によって収音された音声を保存すべきかを判断する処理部と、
を備える診断支援装置。

【請求項2】

前記処理部は、
録音条件が成立したか否かを判定し、
前記録音条件が成立したと判定され、かつ、前記患部が悪性であると判断されたことを条件として、前記収音部により収音された音声を保存するように制御する、
請求項１に記載の診断支援装置。

【請求項3】

前記処理部は、
前記録音条件が成立しているときに、録音された音声を、前記患部が悪性でないと判定された場合に破棄する、
請求項２に記載の診断支援装置。

【請求項4】

前記患部に光を照射する光源をさらに備え、
前記録音条件には、前記光源が点灯されているという条件が含まれる、
請求項２又は３に記載の診断支援装置。

【請求項5】

前記処理部は、
前記患部が悪性であると判定した場合に、前記患部の悪性の種類をさらに判定し、
判定された前記患部の悪性の種類を表すラベルを、前記音声に関係づけて保存する、
請求項１から４のいずれか１項に記載の診断支援装置。

【請求項6】

コンピュータが行う診断支援方法であって、
診察中の音声を収音し、
診察対象の患部の画像データが分析されることによる前記患部が悪性であるか否かの判断結果に基づいて、収音された音声を保存すべきかを判断する、
診断支援方法。

【請求項7】

コンピュータを、
診察対象の患部の画像データが分析されることによる前記患部が悪性であるか否かの判断結果に基づいて、診察中に収音された音声を保存すべきかを判断する手段、
として機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、診断支援装置、診断支援方法及びプログラムに関する。

【背景技術】

【0002】

従来、メラノーマ（悪性黒色腫）等の観察にあたっては、全切除生検ではなく部分生検を行った場合、腫瘍の播種を招くおそれがあることから、患者の利益につながらないとの見解が知られている。したがって、その観察は熟練した医師の目視に頼っている。

【0003】

部分生検によらず非侵襲で疾患を観察するために、ダーモスコープの一種として、デジタルカメラで所定の大きさの皮膚の色素沈着等を拡大撮影する装置及び観察方法が知られている。この装置は、デジタルカメラにダーモスコープモジュールを取り付けて皮膚表面と、真皮まで達してから反射されるそれぞれの反射光を観察することにより、皮膚表面から真皮付近に至る皮膚組織の色素沈着状態を検索することを可能とする。このようなデジタルダーモスコープとしては、偏光フィルタを使用することにより、皮膚表面及び真皮内部から反射した光をそれぞれ観察できる観察システムも提案されている。この従来のダーモスコープでは、表皮を通過して真皮層まで達した後に反射される、いわゆる拡散反射を検出するために、高強度の光線を使用する（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１５２６０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従来のダーモスコープは、その場その時点で患者の疾患を観察するものであることから、診察後になって診察の過程を再確認できないという課題があった。

【0006】

そこで本発明は、上記課題を解決するためになされたものであり、診察終了後に診察の過程を確認することができる診断支援装置、診断支援方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、本発明の診断支援装置は、
診察中の音声を収音する収音部と、
診察対象の患部の画像データが分析されることによる前記患部が悪性であるか否かの判断結果に基づいて、前記収音部によって収音された音声を保存すべきかを判断する処理部と、
を備える。

【発明の効果】

【0008】

本発明によれば、診察終了後に診察の過程を確認することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態１に係る診断支援装置の背面斜視図である。

【図2】実施形態１に係る診断支援装置の正面斜視図である。

【図3】実施形態１に係る診断支援装置の概略構成を示すブロック図である。

【図4】実施形態１に係る音声保存処理のフローチャートである。

【図5】実施形態２に係る音声保存処理のフローチャートである。

【図6】実施形態３に係る音声保存処理のフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態に係る診断支援装置等について、図表を参照して説明する。なお、図中同一又は相当部分には同一符号を付す。

【0011】

（実施形態１）
実施形態１に係る診断支援装置は、ダーモスコープを含み、患者の疾患を観察し、例えば、色素細胞母斑、悪性黒色腫（メラノーマ）、脂漏性角化症、基底細胞癌、血管病変及びボーエン病などの検査、観察及び／又は治療に用いることができる。このダーモスコープは、光源により皮膚の標的部に光を照射するとともに、皮膚内部を覆う皮膚表面からの反射光を低減し、かつ、標的部を拡大して観察することで、非侵襲的で皮膚内部の炎症、色、色素沈着、毛嚢及び血管などを視覚化できるものである。診断支援装置のユーザ（医師等）は、患部の診察の際に本診断支援装置を用いて患部を観察することにより、診察終了後も、診察の過程を確認することが可能になり、診断を下す際の参考にすることができる。

【0012】

本明細書では、「マイクロスコープ（ｍｉｃｒｏｓｃｏｐｅ）：顕微鏡」及び「マイクロスコピー（ｍｉｃｒｏｓｃｏｐｙ）：顕微鏡による検査又は顕微鏡使用（法）」の使い分けに準じ、「ダーモスコープ（ｄｅｒｍｏｓｃｏｐｅ）」及び「ダーモスコピー（ｄｅｒｍｏｓｃｏｐｙ）」の用語を、皮膚検査用の拡大鏡（装置）及び同拡大鏡を用いた皮膚検査又は同拡大鏡使用（行為）という意味で用いている。

【0013】

実施形態１に係る診断支援装置１は、図１及び図２に示すように、上部に観察レンズ１５４を備える。観察レンズ１５４は診断支援装置１の正面からも背面からも確認できるが、背面側により近い部分（正面から見ると奥まった部分）に配置されている。また、診断支援装置１は、図１に示すように、背面にマイクロフォン４０１、表示パネル１７１、を備え、背面に向かって左側面にライト種切替ボタン１８１を備える。また、図２に示すように、診断支援装置１は、正面に病変撮影用レンズ２００及び撮像素子１１３、光源１５１、を備え、正面に向かって左側面に電源ボタン１８２を備える。なお、ライト種切替ボタン１８１は、後述するように、光源１５１のライトの種類や明るさを切り替えるボタンである。また、電源ボタン１８２は、診断支援装置１の電源をＯＮ／ＯＦＦするボタンである。図１及び図２に示すように、ライト種切替ボタン１８１及び電源ボタン１８２は、観察レンズ１５４と持ち手の部分の間の側面に設けられている。このため、診断支援装置１のユーザは、持ち手の親指などでこれらのボタンを操作できる。なお、本明細書において、診断支援装置１の正面とは、光源１５１が設けられた表面をいい、診断支援装置１の背面とは、ユーザが患部を観察する場合のユーザ側の表面をいうものとする。図１に示すように、表示パネル１７１は診断支援装置１の持ち手側の部分にあり、マイクロフォン４０１は、観察レンズ１５４と表示パネル１７１の間に設けられている。このため、マイクロフォン４０１については、ユーザが診断支援装置１を持つ際の手が収音の妨げにならず、周囲の音を収音しやすくなっている。

【0014】

図１及び図２に示すように、診断支援装置１のユーザ（医師等）は、診断支援装置１の正面の方向に存在する患部を、診断支援装置１の背面の方から観察レンズ１５４を通して、直接目で観察することができる。その際、診断支援装置１の正面に設けられた光源１５１のライトの種類や明るさを、ライト種切替ボタン１８１で切り替えることができる。また、診断支援装置１は、病変撮影用レンズ２００及び撮像素子１１３により、患部（病変画像）を撮影して画像データを取得することができる。

【0015】

図２に示すように、撮像素子１１３は、観察レンズ１５４が取り付けられている部分の外周部に、光源１５１とともに備えられている。そして、診断支援装置１における撮像素子１１３よりも前側（表面側）の部分に、病変撮影用レンズ２００が設けられている。診断支援装置１は、診断支援装置１の正面の方向からの光の像（患部の反射像）を、病変撮影用レンズ２００で拡大したダーモスコピー画像として、撮像素子１１３で撮影することにより、ダーモスコピー撮影が可能になる。なお、後述する撮像光学系１１１が病変撮影用レンズ２００を兼ねる場合は、病変撮影用レンズは設けられなくてもよい。

【0016】

病変撮影用レンズ２００は、患部を拡大する拡大レンズとして機能する。例えば、その拡大率は５倍から３０倍である。病変撮影用レンズ２００は、１つの両面凸レンズであってもよいし、２つ又は複数の凸レンズを組み合わせたレンズ、１つのアクロマートレンズ、２つ又は複数のアクロマートレンズを組み合わせたレンズのいずれかであってもよい。また、病変撮影用レンズ２００は、無収差レンズであってもよい。さらにまた、病変撮影用レンズ２００は、良好な光学性と歪みを低減するために、球面レンズに非球面レンズを組み込んだものでもよい。病変撮影用レンズ２００には、さらに反射防止膜やカラーフィルタが含まれてもよい。

【0017】

また、図３に示すように、診断支援装置１は、撮像部１１０と、撮像制御部１２０と、画像データ生成部１２５と、記憶部１４０と、画像変換部１６０と、表示部１７０と、操作入力部１８０と、中央制御部１９０と、録音部４００と、マイクロフォン４０１と、時計部５００を備える。これらはそれぞれバスライン１０２を介して共通に接続され、診断支援装置１の筺体内に配されている。

【0018】

なお、図３中、破線領域Ａは、病変を撮影する機能に絞った診断支援装置１の構成を示している。また、診断支援装置１が、外部機器（コンピュータ）との間で情報を送受信する通信部を更に備えることにより、記憶部１４０、表示部１７０及び操作入力部１８０のうちの一部又は全部を外部機器に移管（外部機器側に設ける構成に）してもよい。この場合は、後述するように、外部機器と診断支援装置１とで、観察システムが構成される。なお、観察システムを構成するにあたっては、中央制御部１９０の一部又は全部についても外部機器に移管するなど、外部機器に移管する構成は適宜拡張されてもよい。

【0019】

撮像部１１０は、撮像光学系１１１と、撮像光学系駆動部１１２と、撮像素子１１３とを備え、患部の撮影を行う。撮像光学系駆動部１１２は、モータ等のアクチュエータで構成され、撮像光学系１１１の絞り及びレンズを駆動する。撮像素子１１３は、撮像光学系１１１によって投影された患部の反射像を光電変換により電気信号に変換して、画像信号として出力する。

【0020】

撮像光学系１１１は、ズームレンズ、フォーカスレンズ及び絞りの少なくとも１つを含む。撮像光学系１１１が、例えば３０倍の拡大が可能なズームレンズを備える等、病変撮影用レンズ２００の機能を兼ね備える場合は、上述したように診断支援装置１には、病変撮影用レンズ２００が設けられなくてもよい。しかし、通常は、撮像光学系１１１とは別に、患部を拡大するための病変撮影用レンズ２００が設けられるのが望ましい。病変撮影用レンズ２００が設けられることにより、撮像光学系１１１のレンズの拡大率をあまり上げずに済むようになるため、歪みの少ない良好な光学性能を確保することができるからである。撮像光学系１１１は、図３に示す撮像制御部１２０からの制御信号に基づいて、撮像光学系駆動部１１２によって絞りとレンズが駆動され、適切な明るさに設定された患部の反射像を、撮像素子１１３上に結像させる。撮像素子１１３は、撮像光学系１１１により結像された患部の反射像を、光電変換により電気信号に変換し、画像データ生成部１２５に出力する。撮像素子１１３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。

【0021】

撮像制御部１２０は、撮像素子１１３の駆動を制御して、撮像部１１０による患部の撮影を制御する機能を有する。すなわち、撮像制御部１２０は、図示は省略するが、タイミング発生器、ドライバなどを備え、タイミング発生器、ドライバにより撮像素子１１３を駆動して、撮像光学系１１１により結像された患部の反射像を、撮像素子１１３により、所定周期ごとに光電変換で電気信号（二次元の画像データを生成するための撮像信号）に変換し、撮像素子１１３から画像データ生成部１２５に撮像信号を出力させる。なお、撮像信号は、少なくとも輝度信号を有し、通常は輝度信号及び色差信号を含む。

【0022】

また、撮像制御部１２０は、更に、撮像部１１０に対して露出条件を変えながら略等しい構図で複数回撮影するよう制御したり、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ：自動合焦処理）、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ：自動露出処理）、ＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ：自動ホワイトバランス）等の被写体を撮影する際の条件の調整制御を行ったりする機能を有するものであってもよい。

【0023】

画像データ生成部１２５は、撮像素子１１３から転送されたアナログ信号である撮像信号からデジタル信号であるダーモスコピー画像データＤｄ及びダーモスコピー変換画像データＤｔ１，Ｄｔ２の少なくとも１つを含む画像データを生成する機能を有する。例えば、画像データ生成部１２５は、アナログ値の撮像信号に対してＲＧＢの色成分ごとに適宜ゲイン調整した後に、サンプルホールド回路（図示略）でサンプルホールドしてＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換器（図示略）でデジタルデータに変換し、カラープロセス回路（図示略）で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、画素毎にデジタル値のＲ値（当該画素の赤成分の大きさを示す値）、Ｇ値（当該画素の緑成分の大きさを示す値）及びＢ値（当該画素の青成分の大きさを示す値）を含む画像データを生成する。この画像データは、図示しないＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）コントローラなどを介して、記憶部１４０に転送される。

【0024】

記憶部１４０は、画像変換部１６０や中央制御部１９０等によって処理されるダーモスコピー画像データＤｄ及びダーモスコピー変換画像データＤｔ１，Ｄｔ２の少なくとも１つを含む画像データを格納（記憶）し、中央制御部１９０の制御によって、画像変換部１６０や表示部１７０に該画像データを出力する機能を有するものである。記憶部１４０は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等により構成される。記憶部１４０は、診断支援装置１の内部の回路基板に固定されて設けられるものでもよいし、後述する記憶媒体制御部によって制御される着脱可能な記憶媒体であってもよいし、又は、これらの組合せであってもよい。なお、ＲＯＭには中央制御部１９０のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）が実行するプログラム及びプログラムを実行する上で予め必要なデータが記憶されている。ＲＡＭには、プログラム実行中に作成されたり変更されたりするデータが記憶される。また、診断支援装置１の電源ＯＦＦの後も保存しておきたいデータに関しては、フラッシュメモリ等の不揮発性メモリに保存される。

【0025】

例えば、図３に示すように、記憶部１４０には、第１の記憶部１４１と第２の記憶部１４２と第３の記憶部１４３と、を含む複数の記憶部が割り付けられてもよい。この例では、例えば、第１の記憶部１４１には、病変撮影用レンズ２００を介して撮影されたダーモスコピー画像データＤｄが記憶され、第２の記憶部１４２には、画像変換部１６０により得られるハイダイナミックレンジ（ＨＤＲ）変換処理を行うことで、患部を明瞭化かつ顕在化することができるダーモスコピー変換画像データＤｔ１が記憶され、第３の記憶部１４３には、画像変換部１６０により他の画像変換処理を行うことで得られるダーモスコピー変換画像データＤｔ２が記憶される。なお、画像変換部１６０が画像変換を行うタイミングは任意であり、画像変換部１６０は、撮影直後のダーモスコピー画像データＤｄだけでなく、過去に撮影され記憶部１４０に記憶されたダーモスコピー画像データＤｄを用いて画像変換（例えば、ハイダイナミックレンジ（ＨＤＲ）変換処理）を行うことも可能である。

【0026】

記憶媒体制御部は、診断支援装置１に着脱可能に装着された記憶媒体からのデータの読み出しや記憶媒体に対するデータの書き込みを制御する機能を有する。すなわち、記憶媒体制御部は、ダーモスコピー画像データＤｄ及びダーモスコピー変換画像データＤｔ１，Ｄｔ２の少なくとも１つを含む画像データを、所定の符号化方式（例えば、ＪＰＥＧ形式、モーションＪＰＥＧ形式、ＭＰＥＧ形式など）にしたがって符号化したり、上記画像データを記憶媒体から読み出して画像変換部１６０に転送したりするものである。なお、例えば、上記着脱可能な記憶媒体としては、不揮発性メモリ（フラッシュメモリ）等が例示されるが、一例であってこれに限られるものではなく、適宜変更可能である。

【0027】

画像変換部１６０は、ダーモスコピー画像データＤｄを画像変換してダーモスコピー変換画像データＤｔ１、Ｄｔ２を生成する機能を有する。ここで、ダーモスコピー変換画像データＤｔ１とＤｔ２とは、それぞれ異なる画像変換方法によって作成されたダーモスコピー変換画像データである。この画像変換方法には、種々の方法が存在するが、例えば、ダーモスコピー画像データＤｄに係る複数の画像データを合成して、ダイナミックレンジを広くするハイダイナミックレンジ（ＨＤＲ）合成を行うことによる画像変換方法により、ダーモスコピー変換画像データＤｔ１が生成されてもよい。また、後述する光源１５１に例えばピーク波長の異なる複数種の光源を用いて、その点灯及び消灯を切り替えて撮影された複数のダーモスコピー画像データＤｄを合成して、患部における症状を見やすくする画像変換方法により、ダーモスコピー変換画像データＤｔ２が生成されてもよい。なお、ここでは、ダーモスコピー変換画像データとして、２種類のダーモスコピー変換画像データＤｔ１、Ｄｔ２を生成するものとして説明したが、画像変換部１６０は、１種類のダーモスコピー変換画像データＤｔ１のみを生成してもよい。また画像変換部１６０は、３種類以上の画像変更方法を用いて、３種類以上のダーモスコピー変換画像データＤｔ１、Ｄｔ２、Ｄｔ３、…を生成してもよい。

【0028】

表示部１７０は、例えば、対象データ、記憶部１４０に格納されているダーモスコピー画像データＤｄ及びダーモスコピー変換画像データＤｔ１，Ｄｔ２の少なくともいずれか一つに基づいて、文字や画像を視覚的に表示するものである。表示部１７０は、表示パネル１７１と、表示制御部１７２とを備える。

【0029】

表示パネル１７１は、液晶表示パネルや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）表示パネルなどであり、記憶部１４０に格納されている画像データ等を表示する。表示制御部１７２は、記憶部１４０に格納されている表示用の各画像データを読み出して、表示パネル１７１に表示させる制御を行う。具体的には、表示制御部１７２は、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＶＲＡＭコントローラ、デジタルビデオエンコーダなどを備えていてもよい。そして、デジタルビデオエンコーダは、画像変換部１６０により復号されてＶＲＡＭに記憶されている画像データを、ＶＲＡＭコントローラを介してＶＲＡＭから所定の再生フレームレートで読み出して、これらのデータを元にビデオ信号を発生して表示パネル１７１に出力する。

【0030】

なお、図１では、診断支援装置１の背面側に表示パネル１７１が設けられているが、表示パネル１７１は、診断支援装置１の正面側に設けられてもよい。また、表示パネル１７１は、タッチパッド等を重ね合わせて設けることにより、タッチパネルとして機能してもよい。この場合、表示パネル１７１に操作画面を表示することにより、このタッチパネルは、操作入力部１８０を兼ねることになる。また、表示制御部１７２は、例えば、１つの画像を表示するように表示パネル１７１を制御してもよいし、複数の画像を並置して表示するように表示パネル１７１を制御してもよい。

【0031】

操作入力部１８０は、ユーザからの指示などを受け付けて、中央制御部１９０に出力する入力インタフェースであり、タッチパネル、スイッチ、ボタンなどを備える。例えば、図１に示すライト種切替ボタン１８１及び図２に示す電源ボタン１８２は、操作入力部１８０に含まれる。また、上述したように、表示パネル１７１をタッチパネルとして機能させた場合は、表示パネル１７１（タッチパネル）は、操作入力部１８０に含まれる。また操作入力部１８０は、上述のライト種切替ボタン１８１、電源ボタン１８２、タッチパネル等とは別に設けられた操作ボタン、スイッチ等を含んでもよい。

【0032】

操作入力部１８０は、例えば、対象識別記号を含む対象データを診断支援装置１に入力する。ここで、対象識別記号とは、カルテ番号などであるが、患者や被験者などの対象を識別できる記号であれば形式は問わない。対象識別記号としては、カルテ番号、ファイル番号、検査番号、氏名又は患者番号などが例示される。対象データには、対象識別記号、氏名・年齢・性別・住所及び保険証番号等の患者の基本情報、主訴、現病歴、既往歴、家族歴、社会歴、嗜好、アレルギーの有無、現症・身体所見、予約の状況、入院後経過・看護記録、治療方針などが含まれていてもよい。

【0033】

中央制御部１９０は、診断支援装置１の全体を制御するものである。具体的には、中央制御部１９０は、ＣＰＵ等を備え、診断支援装置１用の各種処理プログラム（図示略）にしたがって各種の制御動作を行う。例えば、中央制御部１９０は、記憶部１４０に記憶されている画像分析ソフトウエアを実行することにより、撮影画像中の患部の疾患名（例えばメラノーマであるか否か等）や、撮影画像中の患部が悪性であるか否か等を分析することができる。また、記憶部１４０に、撮像制御プログラム、画像データ生成プログラム、画像変換プログラム、表示制御プログラム等を予め記憶させておき、中央制御部１９０のＣＰＵがこれらのプログラムを実行することにより、上述の撮像制御部１２０、画像データ生成部１２５、画像変換部１６０、表示制御部１７２として機能するようにしてもよい。この場合、中央制御部１９０だけでなく、撮像制御部１２０、画像データ生成部１２５、画像変換部１６０、表示制御部１７２もＣＰＵで構成されることになる。

【0034】

中央制御部１９０は、操作入力部１８０による対象識別記号を含む対象データの入力に応じて、ダーモスコピー画像データＤｄ及びダーモスコピー変換画像データＤｔ１，Ｄｔ２の少なくともいずれか一つを、カルテ番号等の対象識別記号を含む対象データに関連付けて記憶部１４０に保存してもよい。これは、ダーモスコピー画像データＤｄ、ダーモスコピー変換画像データＤｔ１，Ｄｔ２のうち少なくとも１つに、Ｅｘｉｆなどの形式によって対象識別記号を含む対象データを書き込んで、記憶部１４０に保存することにより行われる。

【0035】

診断支援装置１は、撮像部１１０とは別に設けられ、患部を非撮像で観察するダーモスコープレンズ部１５０を有する。ダーモスコープレンズ部１５０は、前述した観察レンズ１５４（光学レンズ）及び光源１５１を少なくとも含み、観察レンズ１５４を介して目で患部を観察できるものである。以上により、診断支援装置１は、ダーモスコープレンズ部１５０を用いたダーモスコープ（ルーペ）機能と撮像部１１０を用いたダーモスコープ撮像機能とを兼ね備えることができる。したがって、従来、複数の装置を用いて行われてきた（１）ダーモスコープ（ルーペ）による良性の色素性母斑なのか悪性のメラノーマ（悪性黒色腫）なのかのスクリーニング、（２）ダーモスコピー撮影による患部の拡大撮影、を１つの装置で連続的に行うことができる。

【0036】

ダーモスコープレンズ部１５０の観察レンズ１５４は、患部を拡大する拡大レンズであり、裏面側から覗いて患部を観察する拡大鏡、いわゆるルーペとして機能する。例えば、その拡大率は５倍から３０倍である。観察レンズ１５４は、１つの両面凸レンズであってもよいし、２つ又は複数の凸レンズを組み合わせたレンズ、１つのアクロマートレンズ、２つ又は複数のアクロマートレンズを組み合わせたレンズのいずれかであってもよい。また、観察レンズ１５４は、無収差レンズであってもよい。さらにまた、観察レンズ１５４は、良好な光学性と歪みを低減するために、球面レンズに非球面レンズを組み込んだものでもよい。観察レンズ１５４には、さらに反射防止膜やカラーフィルタが含まれてもよい。観察レンズ１５４のレンズ径は、例えば１５ｍｍ径のものが用いられる。

【0037】

観察レンズ１５４の外周部には、１つ又は複数の光源１５１が配置されており、必要に応じて光源１５１を点灯させ、被写体の照明として使用する。光源１５１は、図２に示すように、観察レンズ１５４の外周よりも若干大きい環状ライン上に等間隔で配置されている。図示しないが、光源１５１は、光源１５１から放出された光が観察レンズ１５４の中心方向に集光するように、観察レンズ１５４の中心軸に対して光軸が傾斜するように配置されていてもよい。光源１５１としては、ハロゲンランプなどの高輝度ライトや発光ダイオード、半導体発光素子及び有機エレクトロルミネッセンスなどの発光素子が用いられる。

【0038】

光源１５１が複数ある場合、複数の光源１５１は、同一の波長の光源からなるものでもよいし、互いに異なる波長の光源を含んでもよい。例えば、紫外線又は青色光は、色素沈着部に吸収されやすいから、色素沈着部を好適に視覚化することができる。同様に、緑色光は、血管に吸収されやすいから、血管を好適に視覚化することができる。白色光は、皮膚疾患の観察に用いられる解剖学的情報を得ることができ、又は、皮膚表面を好適に視覚化することができる。

【0039】

したがって、複数の光源１５１は、一の波長の光源１５１が点灯しているときに、この一の波長とは異なる他の波長の光源１５１が消灯し、又は、この他の波長の光源１５１が点灯しているときにこの一の波長の光源１５１が消灯するように構成してもよい。これによって、様々な波長の光源１５１の点灯及び消灯を切り替えて撮影することにより、複数のダーモスコピー画像データＤｄを取得することができ、皮膚内部の情報をより好適に得ることができる。そして、これら複数のダーモスコピー画像データＤｄを比較したり、重ね合わせたりすることで、標的部の検査、観察及び治療をしやすくすることができる。

【0040】

なお、光源１５１は、光を集中させるためのフォーカスレンズを更に有していてもよい。また、光源１５１は、診断支援装置１の内部の回路基板の配線に電気的に接続されている。そして、この配線は、電池や外部電源などの電源に電気的に接続されている。図１に示すライト種切替ボタン１８１（操作入力部１８０）が押されると、中央制御部１９０がダーモスコープレンズ部１５０を制御することにより、光源１５１に使われているライトの種類（ハロゲンランプ、発光ダイオード、有機エレクトロルミネッセンス等）、波長、輝度等が変更される。

【0041】

図３に戻り、マイクロフォン４０１と録音部４００と時計部５００について、説明する。診断支援装置１は、音声を収音するマイクロフォン４０１と、マイクロフォン４０１によって収音された音声データＤｖを記録する録音部４００と、時刻を計時して時刻データＤｈを取得する時計部５００と、を備える。

【0042】

マイクロフォン４０１は、音声を収音する収音手段として機能する。図１では、マイクロフォン４０１として、診断支援装置１の背面にモノラルマイクロフォンを配置した例を図示しているが、マイクロフォン４０１の態様はこれに限定されない。マイクロフォン４０１は、ステレオマイクロフォンやズームマイクロフォンであってもよいし、また、診断支援装置１に内蔵されたものではなく、有線又は無線による外付けのマイクロフォン４０１であってもよい。

【0043】

録音部４００は、患部の診察の過程においてマイクロフォン４０１によって収音された診察現場の音声データＤｖを記録する。音声データＤｖの記録においては、録音部４００が音声データＤｖの記録用のメモリを備えていてもよいし、記憶部１４０に音声データＤｖを記録してもよい。

【0044】

時計部５００は、時刻を計時し時刻データＤｈを取得するモジュールである。時計部５００は、予め設定された時刻からの経過時間を計ることにより、現在時刻を計測することができる。そして、時計部５００は、現在時刻（日時）をタイムスタンプとして出力することができる。例えば、中央制御部１９０は、撮像部１１０や録音部４００が動作するに際し、その開始／終了の時刻（日時）を時計部５００から取得して、タイムスタンプとして、撮像画像や音声データＤｖに付加することができる。これによって、撮像画像及び音声データＤｖの双方の面から診察の事実と内容を画定することができ、後刻又は後日にカルテを記入する際の確認資料として利用できるとともに、仮に患者との何らかのトラブルが発生した際の証拠としても活用できる。

【0045】

中央制御部１９０は、所定のトリガ（後述する録音条件が成立したことの判定）により録音部４００を起動させ、録音部４００によって記録された音声データＤｖに、時計部５００によって取得された時刻データＤｈをタイムスタンプとして付加して、記憶部１４０に記憶する。これにより、診察終了後に診察の過程を医師が確認することができるとともに、電子カルテの作成にも資することができる。さらには、次回以降の診察時において患者との間で疾患の推移について確認することができ、インフォームドコンセントにも資することができる。

【0046】

録音部４００は、医師及び／又は患者に加え、診察現場の音声のデータとして看護師や患者の家族の音声データＤｖを記録することもできる。なお、時計部５００は、常時、計時動作を行っている。以下の説明において、所定のトリガによって録音部４００と時計部５００が起動すると言うことがあるが、この説明は、所定のトリガによって時計部５００が録音部４００による録音の開始時刻を決定するという意味で用いている

【0047】

中央制御部１９０は、例えば、ダーモスコープレンズ部１５０で患者を診察中であると検出した場合を所定のトリガとして、音声データＤｖを記憶部１４０に記憶する。すなわち、中央制御部１９０は、所定のトリガの設定によって、診察中に音声データＤｖを記録し、診察中でないときに音声データＤｖを記録しない。録音部４００は、疾患の診察過程及び結果をリアルタイムに音声で記録したり、医師、看護師、患者及び／又は患者の家族の間の会話などを録音したりするなど、診察現場の音声（音声データＤｖ）を取得することができる。

【0048】

録音部４００と時計部５００を起動させる所定のトリガとしては、種々の態様によって構成することができる。中央制御部１９０は、録音部４００と時計部５００のＯＮ／ＯＦＦの起動のトリガとして、例えば、医師が手動で専用のスイッチ（録音ボタン）をＯＮ／ＯＦＦしたことを中央制御部１９０が検出してもよいし、診断支援装置１の電源ボタン１８２のＯＮ／ＯＦＦを検出してもよい。さらに、中央制御部１９０は、トリガとして、診断支援装置１の光源１５１の点灯中を診察中としてもよい。

【0049】

さらに、診断支援装置１の撮像部１１０で撮影する場合、医師は、診断支援装置１を操作する当初において、タッチパネル（表示パネル１７１）からカルテ番号等の対象識別記号を入力してＯＫボタンを押すことにより関連撮影を開始し、終了ボタンにタッチして関連撮影を終了するが、録音部４００は、この関連撮影の開始／終了に連動して録音をＯＮ／ＯＦＦさせてもよい。以上のような構成によって、記憶部１４０に診察中の音声データＤｖを効率的に記憶することができる。なお、さらに徹底して、録音部４００のＯＮ中、医師、看護師、患者及び／又は患者の家族の音声を拾うことができたときのみ、記録するようにしてもよい。

【0050】

また、中央制御部１９０は撮像画像を分析する画像分析ソフトウエアを実行し、この画像分析による結果をもってトリガとしてもよい。例えば、画像分析ソフトウエアによって撮像画像を分析し、患部がメラノーマであるか否かについて判別手段がメラノーマであると判別した場合に、トリガとしてもよい。あるいは、画像分析ソフトウエアによって撮像画像を分析し、患部が悪性であるか否かについて判別手段が悪性の可能性があると判別した場合に、トリガとしてもよい。なお、いずれの場合も、中央制御部１９０が、画像分析ソフトウエアを実行することにより、判別手段として機能する。

【0051】

この判別手段は、例えば、疾患のある部分（患部）の位置情報とその位置における拡散反射スペクトルとを含む複数の画素データを取得し、拡散反射スペクトルを多次元ベクトルとみなし、この多次元ベクトルと基準ベクトルとのなす角度を求め、角度及び画素データの位置情報に基づき、疾患に係る患部表面の分子情報を反映している疾患データＤｃとして、該疾患データＤｃを用いて所定の閾値によりメラノーマであるか否か、悪性であるか良性であるかを判別する。なお、機械学習によって病変を識別する技術も進んでいるので、中央制御部１９０は、機械学習を用いた画像識別処理によって患部がメラノーマであるか否か、又は悪性であるか良性であるかを識別するようにしてもよい。

【0052】

録音部４００に録音された音声データＤｖは、いつでも再生することができる。例えば、医師は、診断支援装置１の記憶部１４０に保存されているダーモスコピー画像データＤｄ、ダーモスコピー変換画像データＤｔ１又はダーモスコピー変換画像データＤｔ２を必要な時に呼び出して再生することができるが、その画像の再生に連動して、画像データ及び音声データＤｖに付加されているタイムスタンプを用いることにより、当該画像データを撮影した際の音声データＤｖを同時に再生するようにしてもよい。

【0053】

診断支援装置１は、以上の各部に加え、位置検出部を備えてもよい。位置検出部は、自身の位置を検出する機能を有する。位置検出部は、例えば、ＧＰＳ衛星その他から出力されている信号に基づいて、診断支援装置１の現在位置を示す位置情報を生成することができる。これにより、医師が患者の診察を行った場所（病院、医院、保養施設、在宅など）をタイムスタンプと同時に画定することが可能となる。

【0054】

次に、本実施形態に係る診断支援装置１の使用方法及び制御方法を説明する。診断支援装置１は、電源ボタン１８２をＯＮにすると、表示パネル１７１に機能選択メニューが表示される。機能選択メニューとは、診断支援装置１の各機能（関連撮影機能、画像一覧表示機能等）が画面上にボタンとして表示されたものである。ユーザが、各機能のボタンをタッチすることにより、診断支援装置１の当該機能が起動する。

【0055】

まず、診断支援装置１の機能のうち、関連撮影機能について説明する。これは、一連の撮影した画像を関連付けする機能である。

【0056】

まず、一人の患者に対して複数の写真を撮影する際に、カルテ番号などを基にして一連の画像を関連付けする場合を説明する。診断支援装置１の電源をＯＮにすると、表示パネル１７１（タッチパネル）に機能選択メニューが表示される。ユーザが、機能選択メニュー（操作入力部１８０）に一覧されている機能のうち、「関連撮影機能」をタッチすると、これから撮影する患部の一連の画像データを関連付ける機能である「関連撮影」が開始される。そして、表示パネル１７１（タッチパネル）には、カルテ番号などの対象識別記号を入力する画面が表示される。ユーザが、タッチパネル（操作入力部１８０）に、これから撮影する患者の対象識別記号を入力すると、表示パネル１７１には、例えば「病変撮影」、「撮影終了」などの操作メニューが表示され、撮影待機状態になる。

【0057】

撮影待機状態でユーザが操作メニューの中の「病変撮影」にタッチすると、診断支援装置１は、撮像部１１０を用いて患部をダーモスコピー撮影し、ダーモスコピー撮影した画像データをダーモスコピー画像データＤｄとして記憶部１４０に保存する。その際、ダーモスコピー画像データＤｄには、Ｅｘｉｆなどの形式により、対象識別記号等の情報も書き込まれた上で、記憶部１４０に保存される。また、患部の撮影の際、中央制御部１９０は、ダーモスコピー画像データＤｄ及びダーモスコピー変換画像データＤｔ１，Ｄｔ２の少なくとも２つを関連付けて記憶部１４０に保存するように制御してもよい。この場合、中央制御部１９０は、ダーモスコピー画像データＤｄ及びダーモスコピー変換画像データＤｔ１，Ｄｔ２の少なくとも２つを一組みのデータセット（レコード）として、記憶部１４０に保存することにより行う。

【0058】

従来は、皮膚科医などが大まかな疾患のある部分（患部）の位置（例えば『左の手首』など）がわかるよう、通常のデジタルカメラで患部を撮影した通常画像と、もうひとつは特殊な拡大レンズを使用して患部を拡大して撮影したダーモスコピー画像と、の少なくとも１つを撮影する場合、対象を特定するためにこれらの撮影後に患者のカルテなど対象を特定できる対象データを撮影していた。これは、撮影された対象データに基づいて対象を特定し、手動で画像を整理するためであったが、画像データは大量であり、画像整理は煩雑で、大きな労力がかかっていた。

【0059】

これに対し、本実施形態では、ダーモスコピー画像データＤｄ及びダーモスコピー変換画像データＤｔ１，Ｄｔ２の少なくともいずれか一つを対象データに関連付けて記憶部１４０に保存することで、画像整理の手間がかからず、短時間に、かつ、正確に患者などの対象情報の整理をすることができる。また、表示部１７０を使って患者に画像を見せることもあるが、対象データを用いて検索できるようにすることで、診断支援装置１内に保存してある他の対象の画像を見せてしまうというリスクを回避することが可能である。

【0060】

診断支援装置１は、撮影後、撮影待機状態に戻る。撮影待機状態でユーザが操作メニューの中の「撮影終了」にタッチすると、関連撮影機能を終了する。関連撮影機能を終了すると、画像一覧表示機能が起動し、表示部１７０に、ダーモスコピー画像データＤｄ及びダーモスコピー変換画像データＤｔ１又はダーモスコピー変換画像データＤｔ２の少なくとも一つを含む関連画像（対象識別記号で表される患者の画像データ）の一覧が表示される。なお、診断支援装置１は、関連撮影機能を終了すると、機能選択メニューを表示する画面に戻る仕様になっていてもよい。

【0061】

各画像データには、前述したように、録音部４００で録音された音声データＤｖや、時計部５００でタイムスタンプされた時刻データＤｈが（位置検出部を備える場合には、位置検出部によって検出された位置情報についても）、対象識別記号ごとに、各画像と１対１に関連付けられて保存される。その際のデータ構造は、例えば、医師ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）と、患者ＩＤと、画像ＩＤと、音声データＤｖと、時刻データＤｈと、疾患データＤｃと、で構成され、これらが画像データとともに一組となって記憶部１４０に記憶される。これらの情報（各ＩＤ、時刻データＤｈ、疾患データＤｃ等）は、対象識別記号と同様に、当該画像データにＥｘｉｆなどの形式により書き込まれることによって、記憶部１４０に記憶されてもよい。

【0062】

ここで、医師ＩＤとは、医師を一意に特定するための識別子であり、患者ＩＤとは、患者を一意に特定するための識別子であり、画像ＩＤとは、画像を一意に特定するための識別子である。このデータ構造を用いる場合、診断支援装置１の中央制御部１９０は、医師ＩＤを取得する処理、患者ＩＤを取得する処理、画像ＩＤを取得する処理、所定のトリガにより起動し、時刻データＤｈとともに音声データＤｖを記憶部１４０に記録する処理、診断支援装置１の撮像部１１０によって取得された撮像画像による診察の結果に基づく疾患データＤｃを取得する処理、医師ＩＤ、患者ＩＤ、音声データＤｖ、時刻データＤｈ及び疾患データＤｃをそれぞれ関連付けて記憶部１４０に記憶する処理、を実行する。

【0063】

診断支援装置１は、上記の処理に対応して、診断支援装置１を使用する医師の医師ＩＤを取得する手段と、被写体となる患者の患者ＩＤを取得する手段と、診察の結果に基づく疾患データＤｃを取得する手段と、を更に備えてもよい。この態様では、中央制御部１９０は、医師ＩＤ、患者ＩＤ及び疾患データＤｃを音声データＤｖに関連付けて記憶部１４０に記憶する。医師ＩＤを取得する手段や患者の患者ＩＤを取得する手段は、種々の態様を採用することができる。例えば、中央制御部１９０は、操作入力部１８０を用いてキー入力等により各ＩＤを取得してもよい。また、身分証のバーコード、指紋、顔などを撮像部１１０で撮影し、それを中央制御部１９０が画像認識し、バーコード認証、指紋認証、顔認証などによりＩＤを取得してもよい。また中央制御部１９０は、磁気読み取り装置と接続し、身分証の磁気を当該磁気読み取り装置で読み取ってＩＤを取得してもよい。

【0064】

疾患データＤｃについては、画像分析ソフトウエアにより患部の疾患として可能性の高い候補の一覧を表示部１７０に表示し、当該一覧から選択することにより疾患データＤｃを取得するように、疾患データＤｃを取得する手段を構成することが、効率的かつ正確な診察を行う観点から好ましい。

【0065】

次に、機能選択メニューから「画像一覧表示」をタッチすると起動する画像一覧表示機能について説明する。画像一覧表示機能は、記憶部１４０内に保存された画像データのうち、特定の患者の画像のみ（入力された対象識別記号に関連付けられた画像のみ）を表示する機能である。

【0066】

ユーザが診断支援装置１の電源をＯＮにすると、表示パネル１７１（タッチパネル）に機能選択メニューが表示される。そして、ユーザが、機能選択メニューの中から「画像一覧表示」を選択すると、画像一覧表示機能が起動し、表示パネル１７１（タッチパネル）に、カルテ番号等の対象識別記号を入力される画面が表示される。そして、ユーザが、タッチパネルに、これから表示させる患者の対象識別記号（カルテ番号など）を入力すると、対象識別記号に関連付けられた画像データの画像のみからなる画像のサムネイルの一覧が表示パネル１７１に表示される。なお上述したように、本実施形態では利便性向上のため、関連撮影機能を終了することによっても、画像一覧表示機能が起動し、関連撮影機能を起動した時に入力した対象識別記号に関連付けられた画像データの画像のみからなる画像のサムネイルの一覧が表示パネル１７１に表示される。

【0067】

ここで、各画像のサムネイルをタップして選択すると、選択された画像が表示パネル１７１に表示される。ここでは、例えば、ダーモスコピー画像を表示したり、ダーモスコピー変換１画像を表示したり、ダーモスコピー変換２画像を表示したりすることができる。表示パネル１７１に表示されるこれらの画像は、タッチパネルである表示パネル１７１上でのスワイプ操作や操作入力部１８０の他の入力操作により、切り替えることができる。

【0068】

これらの画像は、対象識別記号に関連付けられた画像データの画像のみであり、他の患者の画像は表示パネル１７１に表示されないので、ある特定の患者に現在又は過去の診察状態を説明するにあたって、診断支援装置１に保存してある他の患者の画像を見せてしまうというようなリスクを回避することができる。

【0069】

以上説明したような診察を経て、中央制御部１９０は、表示パネル１７１に、疾患データＤｃとして、疾患データＤｃの候補一覧を表示してもよい。例えば、中央制御部１９０は、「良性」と「悪性」の区別に加え、「メラノーマ」のほか、代表的な皮膚病変である「基底細胞がん」、「脂漏性角化症」及び「色素性母斑」を候補一覧として表示してもよい。

【0070】

画像分析ソフトウエアは、画像データを分析して、患部の疾患名として可能性の高い病名を当該一覧から選択して、診察結果に対応する病名を疾患データＤｃとして取得する。その際、医師や看護師などによる確認を容易にするために、中央制御部１９０は、表示パネル１７１に、可能性の高い病名の表示を変色又は点滅させるなどしてハイライトしたり、各病名に対応してあらかじめ保存していた症例の画像を表示したりするようにしてもよい。上述した例では疾患データＤｃとして代表的な４つの病名を表示してもよいとしたが、これは一例であって、例えば２０個ほどの症例を記憶部１４０に用意しておき、前述した画像分析ソフトウエアにより診察結果に類似する症例を検索し、類似度が上位の幾つかを表示パネル１７１に表示させるようにしてもよい。

【0071】

以上、診断支援装置１による、関連撮影機能や、画像一覧表示機能について説明した。次に、診断支援装置１による音声保存処理について、図４を参照して説明する。この処理は、中央制御部１９０が、録音部４００による音声記録を自動的に行うための処理であり、診断支援装置１の電源がＯＮになると、開始される。

【0072】

まず、中央制御部１９０は、操作入力部１８０において、撮影の指示を受け付けたか否かを判定する（ステップＳ１０１）。例えば、ユーザが操作メニューの中の「病変撮影」にタッチすると、撮影の指示を受け付けることになる。

【0073】

撮影の指示を受け付けていないなら（ステップＳ１０１；Ｎｏ）、ステップＳ１０１に戻る。撮影の指示を受け付けたなら（ステップＳ１０１；Ｙｅｓ）、中央制御部１９０は、撮像部１１０で病変画像を撮影する（ステップＳ１０２）。

【0074】

そして、中央制御部１９０は、画像分析ソフトウエアにより、病変画像を分析し（ステップＳ１０３）、病変画像中の患部が悪性であるか否かを判定する（ステップＳ１０４）。ステップＳ１０４で、中央制御部１９０は判定手段として機能する。また、本実施形態においては、患部が悪性と判定されたことにより、録音条件が成立したと判定されるので、ステップＳ１０４で、中央制御部１９０は録音条件判定手段としても機能する。

【0075】

悪性でなければ（ステップＳ１０４；Ｎｏ）、ステップＳ１０６に進む。悪性であれば（ステップＳ１０４；Ｙｅｓ）、中央制御部１９０は、録音部４００により、録音を開始する（ステップＳ１０５）。ステップＳ１０５で、中央制御部１９０は録音制御手段として機能する。

【0076】

そして、中央制御部１９０は、操作入力部１８０において電源ＯＦＦの指示を受け付けたか否かを判定する（ステップＳ１０６）。例えば、ユーザが電源ボタン１８２をＯＦＦにすると、電源ＯＦＦの指示を受け付けることになる。

【0077】

電源ＯＦＦの指示を受け付けていなければ（ステップＳ１０６；Ｎｏ）、ステップＳ１０１に戻る。電源ＯＦＦの指示を受け付けたなら（ステップＳ１０６；Ｙｅｓ）、中央制御部１９０は、記憶部１４０に、録音部４００が録音した録音データを保存する（ステップＳ１０７）。なお、上述したように、この録音データには時計部５００によって取得されたタイムスタンプが付加されているため、記憶部１４０には録音データとともにタイムスタンプも保存される。ステップＳ１０７で、中央制御部１９０は音声保存手段として機能する。そして、中央制御部１９０は、診断支援装置１の電源をＯＦＦにし（ステップＳ１０８）、音声保存処理を終了する。

【0078】

実施形態１に係る診断支援装置１は、上述の音声保存処理を実行することにより、患部が悪性と判別された場合に録音データを記憶部１４０に保存するので、医師と患者との間の重要な会話のみを保存することができ、無駄な録音データを保存せずに済むという効果がある。

【0079】

（実施形態２）
実施形態２に係る診断支援装置２の構成は、診断支援装置１と同様であるが、中央制御部１９０が実行する音声保存処理の処理内容が少し異なる。実施形態２に係る音声保存処理について、図５を参照して説明する。診断支援装置２の電源がＯＮになると、図５に示す音声保存処理が開始される。

【0080】

まず、中央制御部１９０は、録音条件が成立しているか否かを判定する（ステップＳ２００）。録音条件とは、録音部４００での録音を開始させる条件である。ここでは、診断支援装置２の電源がＯＮにされると、この録音条件が成立することとする。ステップＳ２００において、中央制御部１９０は、録音条件判定手段として機能する。

【0081】

録音条件が成立していなければ（ステップＳ２００；Ｎｏ）、ステップＳ２００に戻る。録音条件が成立していれば（ステップＳ２００；Ｙｅｓ）、中央制御部１９０は、録音部４００により、録音を開始する（ステップＳ２０１）。すなわち、診察の開始に伴ってユーザが診断支援装置２の電源をＯＮすると、診察中の音声の録音が開始されることになる。ステップＳ２０１で、中央制御部１９０は録音制御手段として機能する。次に、中央制御部１９０は、操作入力部１８０において、撮影の指示を受け付けたか否かを判定する（ステップＳ２０２）。

【0082】

撮影の指示を受け付けていないなら（ステップＳ２０２；Ｎｏ）、ステップＳ２０２に戻る。撮影の指示を受け付けたなら（ステップＳ２０２；Ｙｅｓ）、中央制御部１９０は、撮像部１１０で病変画像を撮影する（ステップＳ２０３）。

【0083】

そして、中央制御部１９０は、画像分析ソフトウエアにより、病変画像を分析し、分析結果を記憶部１４０に保存する（ステップＳ２０４）。

【0084】

そして、中央制御部１９０は、操作入力部１８０において電源ＯＦＦの指示を受け付けたか否かを判定する（ステップＳ２０５）。電源ＯＦＦの指示を受け付けていなければ（ステップＳ２０５；Ｎｏ）、ステップＳ２０２に戻る。

【0085】

電源ＯＦＦの指示を受け付けたなら（ステップＳ２０５；Ｙｅｓ）、ステップＳ２０４で保存した分析結果の中に、病変画像中の患部が悪性であると分析したものが１つでもあるか否かを判定する（ステップＳ２０６）。
分析結果の中に、病変画像中の患部が悪性であると分析したものが１つもなければ（ステップＳ２０６；Ｎｏ）、中央制御部１９０は、録音部４００が録音した録音データを破棄し（ステップＳ２０８）、ステップＳ２０９に進む。分析結果の中に、病変画像中の患部が悪性であると分析したものが１つでもあれば（ステップＳ２０６；Ｙｅｓ）、中央制御部１９０は、記憶部１４０に、録音部４００が録音した録音データを保存する（ステップＳ２０７）。なお、上述したように、この録音データには時計部５００によって取得されたタイムスタンプが付加されているため、記憶部１４０には録音データとともにタイムスタンプも保存される。

【0086】

そして、中央制御部１９０は、診断支援装置２の電源をＯＦＦにし（ステップＳ２０９）、音声保存処理を終了する。なお、上述のステップＳ２００においては、診断支援装置２の電源がＯＮにされると録音条件が成立することとしたが、これは一例である。例えば、中央制御部１９０は、ライト種切替ボタン１８１が押されたことを検出すると、録音条件が成立することとしてもよい。この場合、中央制御部１９０は、ライト種切替ボタン１８１が押されたことを検出したことに伴い、光源１５１を点灯させるので、光源１５１の点灯の開始時から音声が録音されることになる。また、中央制御部１９０が音声認識手段を備え、「○○さん（患者の名前）お入りください」というような音声を認識すると、録音条件が成立することとしてもよい。

【0087】

実施形態２に係る診断支援装置２は、上述の音声保存処理を実行することにより、患部が悪性でないと判定された場合（すなわち良性と判定された場合）に録音データを破棄するので、無駄な録音データを保存せずに済むという効果がある。また、録音条件が成立した後の会話を常時録音しているため、患部が悪性と判定された場合は、診察の前後を含めた医師と患者との間の全ての会話を保存することができるという効果がある。

【0088】

（実施形態３）
実施形態３に係る診断支援装置３の構成は、診断支援装置１と同様であるが、中央制御部１９０が実行する音声保存処理の処理内容が少し異なる。実施形態３に係る音声保存処理について、図６を参照して説明する。診断支援装置３の電源がＯＮになると、図６に示す音声保存処理が開始される。

【0089】

この音声保存処理のうち、ステップＳ３００からステップＳ３０３までの処理は、それぞれ、上述した実施形態２に係る音声保存処理のステップＳ２００からステップＳ２０３までの処理と同様であるので、説明を省略する。

【0090】

ステップＳ３０３の処理を終えると、中央制御部１９０は、画像分析ソフトウエアにより、病変画像を分析する（ステップＳ３０４）。そして、中央制御部１９０は、ステップＳ３０４で病変画像中の患部が悪性であると分析したか否かを判定する（ステップＳ３０５）。

【0091】

病変画像中の患部が悪性であると分析したなら（ステップＳ３０５；Ｙｅｓ）、中央制御部１９０は、分析結果から得られる悪性ラベルを、時計部５００から取得したタイムスタンプと共に記憶部１４０に保存し（ステップＳ３０６）、ステップＳ３０８に進む。分析結果から得られる悪性ラベルとは、患部の悪性の種類を表すラベルであり、例えば、悪性の疾患名（悪性黒色腫（メラノーマ）、基底細胞癌等）である。ステップＳ３０６で、中央制御部１９０は悪性ラベル保存手段として機能する。

【0092】

一方、病変画像中の患部が悪性ではない（良性）と分析したなら（ステップＳ３０５；Ｎｏ）、中央制御部１９０は、分析結果から得られる良性ラベルを、時計部５００から取得したタイムスタンプと共に記憶部１４０に保存し（ステップＳ３０７）、ステップＳ３０８に進む。分析結果から得られる良性ラベルとは、患部の良性の種類を表すラベルであり、例えば、良性の疾患名（色素細胞母斑、脂漏性角化症等）である。ステップＳ３０７で、中央制御部１９０は良性ラベル保存手段として機能する。

【0093】

そして、ステップＳ３０８では、中央制御部１９０は、操作入力部１８０において電源ＯＦＦの指示を受け付けたか否かを判定する。電源ＯＦＦの指示を受け付けていなければ（ステップＳ３０８；Ｎｏ）、ステップＳ３０２に戻る。

【0094】

電源ＯＦＦの指示を受け付けたなら（ステップＳ３０８；Ｙｅｓ）、中央制御部１９０は、録音部４００が録音した録音データに、ステップＳ３０６及びステップＳ３０７で保存したラベル（良性ラベル及び悪性ラベル）を埋め込んで、記憶部１４０に保存する（ステップＳ３０９）。中央制御部１９０は、ラベルを音声データに埋め込む際には、各ラベルとともに保存されたタイムスタンプの情報に基づき、音声データの対応する時刻の部分に当該ラベルを埋め込む。

【0095】

そして、中央制御部１９０は、診断支援装置３の電源をＯＦＦにし（ステップＳ３１０）、音声保存処理を終了する。

【0096】

なお、ステップＳ３０９においては、中央制御部１９０は、録音部４００が録音した録音データのうち、ステップＳ３０６で保存された悪性ラベルに対応する部分のみを悪性ラベルとともに記憶部１４０に保存し、ステップＳ３０７で保存された良性ラベルに対応する部分を記憶部１４０に保存せずに破棄してもよい。

【0097】

また、上述の音声保存処理では、中央制御部１９０は、ステップＳ３０１において録音を開始しているが、実施形態１に係る音声保存処理と同様に、ステップＳ３０１では録音を開始せずに、（ステップＳ３０４で病変画像中の患部が悪性であると分析したら）ステップＳ３０６で録音を開始してもよい。

【0098】

実施形態３に係る診断支援装置３は、上述の音声保存処理を実行することにより、録音条件が成立した後の会話を常時録音しているため、診察の前後を含めた医師と患者との間の全ての会話を保存することができるという効果がある。また、病変画像の分析結果をラベルとして音声データに埋め込むので、医師が気になる疾患がある場合には、その疾患に対応するラベルにより、音声データを検索することができ、効率的に音声データを確認することができるという効果がある。

【0099】

［診察システム］
また、診断支援装置１，２，３は、上述したように、外部のコンピュータと接続して診察システムを構成することも可能である。この場合、診断支援装置１，２，３は、パーソナルコンピュータなどの外部機器（コンピュータ）との間で画像データなどの情報を送受信する通信部を更に備える。そして、この診察システムにおいては、診断支援装置１，２，３は、記憶部１４０、表示部１７０及び操作入力部１８０の一部又は全部を外部機器側に設ける構成としてもよい。この場合、例えば、診断支援装置１，２，３の外部の記憶媒体（着脱可能な記憶媒体や、外部機器の記憶媒体）を記憶部１４０として用いることができる。また、外部機器のディスプレイ装置などを、表示部１７０として用いることができる。また、外部機器のキーボード、マウスなどのポインティングデバイス、音声認識装置などを操作入力部１８０として用いることができる。

【0100】

さらに詳しく説明すると、疾患の診察を行う診察システムは、被写体を撮影する診断支援装置１と、診断支援装置１と接続された外部機器（コンピュータ）と、を備える。診断支援装置１，２，３は、被写体を撮影して撮像画像を取得する撮像部１１０と、マイクロフォン４０１によって診察現場の音声データＤｖを記録する録音部４００と、時刻を計時して時刻データＤｈを取得する時計部５００と、診察の結果を記憶する記憶部１４０と、診断支援装置１、録音部４００、時計部５００及び記憶部１４０を制御する中央制御部１９０と、を含む。

【0101】

中央制御部１９０は、所定のトリガにより録音部４００を起動させ、録音部４００によって記録された音声データＤｖに、時計部５００によって取得された時刻データＤｈをタイムスタンプとして付加し、外部機器に転送する。また、中央制御部１９０は、撮像部１１０で撮影した撮像画像を外部機器に転送する。外部機器は、画像管理ソフトウエアにより撮像画像を管理する。

【0102】

この画像管理ソフトウエアは、音声データＤｖをテキスト化し、前述したデータ構造に示したように別に入力される医師ＩＤ、患者ＩＤ及び画像ＩＤと組み合わせることにより、当該患者の電子カルテを自動的に作成するようにしてもよい。これにより、診察中又は終了後に紙カルテを記入する手間が省くことができ、診察を効率良く行うことが可能となる。

【0103】

ここで、電子カルテを作成した場合、診察結果を第三者に例えば医学上のデータとして提供したようなとき、あるいは、第三者が不正に電子カルテにアクセスしようとしたときなどにおいて、画像ＩＤ又は患者ＩＤから患者が特定されてその個人情報が第三者に知られてしまうことは避けなければならない。そこで、本実施形態では、電子カルテの情報漏洩防止策が取られている。例えば、被写体の撮影者（医師など）の本人認証、撮影者と患者に対応する秘密鍵の設定、医用画像情報から個人情報を除去した画像情報の作成、医用画像付帯情報の暗号化と第三者機関の管理化などは診察システムのサブシステムとして構築される。

【0104】

なお、この診察システムにおいては、前述した音声データＤｖ、時刻データＤｈ、疾患データＤｃ等を中央制御部１９０が個別に外部機器に送り、外部機器内で画像管理ソフトウエアにより関連付けを行ってもよい。さらには、記憶部１４０が外部機器内にあってもよい。

【0105】

そして、外部機器が、撮像画像を分析する画像分析ソフトウエアを備え、中央制御部１９０の代わりに画像を分析してもよい。この場合、外部機器で実行される画像分析ソフトウエアが判別手段として機能し、前述の所定のトリガについて、例えば次のように設定することができる。すなわち、画像分析ソフトウエアは、撮像画像を分析して疾患（診察時の被写体）がメラノーマであるか否かを判別し、メラノーマであると判別した場合を録音部４００と時計部５００を起動させる所定のトリガとしてもよい。あるいは、画像分析ソフトウエアは、撮像画像を分析して疾患（診察時の被写体）が悪性であるか否かを判別し、悪性の可能性があると判別した場合を所定のトリガとしてもよい。

【0106】

この判別手段による画像の判別方法は、中央制御部１９０による上述の判別手段と同様である。また、外部機器も、中央制御部１９０と同様に、機械学習を用いた画像識別処理によって患部がメラノーマであるか否か、又は悪性であるか良性であるかを識別するようにしてもよい。

【0107】

なお、上述の実施形態では、中央制御部１９０は、録音条件が成立したことを判定した後は、電源ＯＦＦが指示されるまで、録音部４００で録音し続ける処理になっているが、この処理は一例に過ぎない。例えば、中央制御部１９０は、光源１５１の消灯、録音ボタンがＯＦＦにされたことの検出等により、録音部４００での録音を停止してもよい。このようにすることにより、録音条件が成立している間の音声のみを、録音部４００で録音することができるようになる。

【0108】

また、上述の実施形態では、診断支援装置１，２，３は、撮像素子１１３、観察レンズ１５４、マイクロフォン４０１、を診断支援装置１，２，３と同一の筐体に設けているが、これらのうちのいくつか又は全てを別体で設けてもよい。

【0109】

［実施の形態の効果］
本実施形態は、診察中の重要な会話などを記録として残すことができ、診察後の病状検討に使用したり、会話を証拠として残したりすることができるという効果がある。また、ダーモスコープに液晶表示を付け、タイムスタンプや疾患データの候補一覧から病変画像を選択し、診察時のメモを音声により簡単に記録できるようにすることにより、気になった病変を見たときの日時を記録したり、病名の候補を記録として残したりすることができ、診察後の病状検討の材料に使用できるという効果がある。

【0110】

なお、診断支援装置１，２，３の各機能は、通常のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等のコンピュータによっても実施することができる。具体的には、上記実施形態では、診断支援装置１，２，３が行う音声保存処理のプログラムや各種ソフトウエアが、記憶部２０のＲＯＭに予め記憶されているものとして説明した。しかし、プログラムを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ Ｄｉｓｃ）、メモリカード、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをコンピュータに読み込んでインストールすることにより、上述の各機能を実現することができるコンピュータを構成してもよい。

【0111】

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

【0112】

（付記１）
患部の周囲の音声を収音する収音手段と、
撮影された前記患部の画像データに基づいて、前記患部が悪性であるか否かを判定する判定手段と、
前記収音手段により収音された音声を、前記判定手段により前記患部が悪性であると判定された場合に保存する音声保存手段と、
を備える診断支援装置。

【0113】

（付記２）
録音条件が成立したか否かを判定する録音条件判定手段と、
前記録音条件が成立したと判定され、かつ、前記判定手段により前記患部が悪性であると判定されたことを条件として、前記収音手段により収音された音声の録音を開始するように制御する録音制御手段と、をさらに備え、
前記音声保存手段は、前記録音制御手段による制御によって録音された音声を保存する、
付記１に記載の診断支援装置。

【0114】

（付記３）
前記音声保存手段は、前記録音条件が成立しているときに前記録音制御手段による制御により録音された音声を、前記判定手段により前記患部が悪性でないと判定された場合に破棄する、
付記２に記載の診断支援装置。

【0115】

（付記４）
前記患部に光を照射する光源をさらに備え、
前記録音条件には、前記光源が点灯されているという条件が含まれる、
付記２又は３に記載の診断支援装置。

【0116】

（付記５）
前記判定手段は、前記患部が悪性であると判定した場合に、前記患部の悪性の種類をさらに判定し、
前記判定手段により判定された前記患部の悪性の種類を表すラベルを、前記音声に関係づけて保存する悪性ラベル保存手段をさらに備える、
付記１から４のいずれか１つに記載の診断支援装置。

【0117】

（付記６）
前記判定手段は、前記患部が悪性でないと判定した場合に、前記患部の良性の種類をさらに判定し、
前記判定手段により判定された前記患部の良性の種類を表すラベルを、前記音声に関係づけて保存する良性ラベル保存手段をさらに備える、
付記１若しくは２、付記２を引用する付記４、又は、付記１、２若しくは付記２を引用する付記４を引用する付記５に記載の診断支援装置。

【0118】

（付記７）
患部の周囲の音声を収音し、
撮影された前記患部の画像データに基づいて、前記患部が悪性であるか否かを判定し、
前記収音された音声を、前記患部が悪性であると判定された場合に保存する、
診断支援方法。

【0119】

（付記８）
コンピュータを、
撮影された患部の画像データに基づいて、前記患部が悪性であるか否かを判定する判定手段、及び、
収音された前記患部の周囲の音声を、前記判定手段により前記患部が悪性であると判定された場合に保存する音声保存手段、
として機能させるプログラム。

【0120】

本出願は、２０１９年１月１０日に出願された日本国特許出願特願２０１９－２４６１号に基づく。本明細書中に日本国特許出願特願２０１９－２４６１号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

【産業上の利用可能性】

【0121】

本発明は、患部の診察終了後に診察の過程を確認することを可能にする等、診断を支援する診断支援装置、診断支援方法及びプログラムに適用可能である。

【符号の説明】

【0122】

１，２，３…診断支援装置、１０２…バスライン、１１０…撮像部、１１１…撮像光学系、１１２…撮像光学系駆動部、１１３…撮像素子、１２０…撮像制御部、１２５…画像データ生成部、１４０…記憶部、１４１…第１の記憶部、１４２…第２の記憶部、１４３…第３の記憶部、１５０…ダーモスコープレンズ部、１５１…光源、１５４…観察レンズ、１６０…画像変換部、１７０…表示部、１７１…表示パネル、１７２…表示制御部、１８０…操作入力部、１８１…ライト種切替ボタン、１８２…電源ボタン、１９０…中央制御部、２００…病変撮影用レンズ、４００…録音部、４０１…マイクロフォン、５００…時計部、Ｄｃ…疾患データ、Ｄｄ…ダーモスコピー画像データ、Ｄｈ…時刻データ、Ｄｔ１，Ｄｔ２，Ｄｔ３…ダーモスコピー変換画像データ、Ｄｖ…音声データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】