2024-162663 画像処理装置及び皮膚撮影画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024162663

(43)【公開日】2024-11-21

(54)【発明の名称】画像処理装置及び皮膚撮影画像生成方法

(51)【国際特許分類】

   A61B 5/107 20060101AFI20241114BHJP

   G01N 21/17 20060101ALI20241114BHJP

【ＦＩ】

A61B5/107 800

G01N21/17 610

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2023078400

(22)【出願日】2023-05-11

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＨＤＭＩ

(71)【出願人】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100111235

【弁理士】

【氏名又は名称】原 裕子

(74)【代理人】

【識別番号】100170575

【弁理士】

【氏名又は名称】森 太士

(72)【発明者】

【氏名】桑原 悠

(72)【発明者】

【氏名】小林 朋央

(72)【発明者】

【氏名】佐藤 博幸

(72)【発明者】

【氏名】藤井 俊一

(72)【発明者】

【氏名】安藤 結衣

【テーマコード（参考）】

2G059

4C038

【Ｆターム（参考）】

2G059AA05

2G059AA06

2G059BB08

2G059BB12

2G059EE02

2G059FF01

2G059FF02

2G059GG01

2G059GG02

2G059HH01

2G059HH02

2G059KK04

2G059MM01

2G059MM03

2G059MM09

2G059MM10

4C038VA04

4C038VB22

4C038VC02

4C038VC05

(57)【要約】

【課題】皮膚の内部をより正確に診断するのに寄与することができる画像処理装置を提供する。
【解決手段】体内物体領域抽出部２３は、皮膚の表面の所定の領域に照射した赤外光の反射光に基づいて生成した測距データに基づいて、皮膚の内面側の体内の体内物体が存在する領域である体内物体領域を抽出する。立体画像生成部２４は、測距データと体内物体領域抽出部２３が抽出した体内物体領域を示す情報とに基づいて、皮膚の立体画像と体内物体の立体画像とを生成する。合成部２６は、所定の領域で反射した可視光に基づく可視光画像と、皮膚の立体画像と、体内物体の立体画像とを合成する。
【選択図】図２

【特許請求の範囲】

【請求項1】

皮膚の表面の所定の領域に照射した赤外光の反射光に基づいて生成した測距データに基づいて、前記皮膚の内面側の体内の体内物体が存在する領域である体内物体領域を抽出する体内物体領域抽出部と、
前記測距データと前記体内物体領域抽出部が抽出した前記体内物体領域を示す情報とに基づいて、前記皮膚の立体画像と前記体内物体の立体画像とを生成する立体画像生成部と、
前記所定の領域で反射した可視光に基づく可視光画像と、前記皮膚の立体画像と、前記体内物体の立体画像とを合成する合成部と、
を備える画像処理装置。

【請求項2】

前記体内物体の立体画像に色を付ける色付け部をさらに備える請求項１に記載の画像処理装置。

【請求項3】

前記可視光画像に基づいて前記所定の領域における前記皮膚の表面が滑らかな状態であることを確認する皮膚表面確認部をさらに備え、
前記体内物体領域抽出部は、前記皮膚表面確認部によって前記所定の領域における前記皮膚の表面が滑らかな状態であることが確認されているとき、前記体内物体領域を抽出する
請求項１または２に記載の画像処理装置。

【請求項4】

皮膚の表面の所定の領域に赤外光を照射し、
前記所定の領域に照射した前記赤外光の反射光に基づいて測距データを生成し、
前記測距データに基づいて、前記皮膚の内面側の体内の体内物体が存在する領域である体内物体領域を抽出し、
前記測距データと前記体内物体領域を示す情報とに基づいて、前記皮膚の立体画像と前記体内物体の立体画像とを生成し、
前記所定の領域で反射した可視光に基づく可視光画像と、前記皮膚の立体画像と、前記体内物体の立体画像とを合成して合成画像を生成する
皮膚撮影画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置及び皮膚撮影画像生成方法に関する。

【背景技術】

【0002】

特許文献１には、可視光と赤外光とを用いて皮膚を観察する皮膚表面観察装置が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－２００４０４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

皮膚の内部をより正確に診断するのに寄与する画像処理装置及び皮膚撮影画像生成方法の登場が望まれている。本発明は、皮膚の内部をより正確に診断するのに寄与することができる画像処理装置及び皮膚撮影画像生成方法を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明は、皮膚の表面の所定の領域に照射した赤外光の反射光に基づいて生成した測距データに基づいて、前記皮膚の内面側の体内の体内物体が存在する領域である体内物体領域を抽出する体内物体領域抽出部と、前記測距データと前記体内物体領域抽出部が抽出した前記体内物体領域を示す情報とに基づいて、前記皮膚の立体画像と前記体内物体の立体画像とを生成する立体画像生成部と、前記所定の領域で反射した可視光に基づく可視光画像と、前記皮膚の立体画像と、前記体内物体の立体画像とを合成する合成部とを備える画像処理装置を提供する。

【0006】

本発明は、皮膚の表面の所定の領域に赤外光を照射し、前記所定の領域に照射した前記赤外光の反射光に基づいて測距データを生成し、前記測距データに基づいて、前記皮膚の内面側の体内の体内物体が存在する領域である体内物体領域を抽出し、前記測距データと前記体内物体領域を示す情報とに基づいて、前記皮膚の立体画像と前記体内物体の立体画像とを生成し、前記所定の領域で反射した可視光に基づく可視光画像と、前記皮膚の立体画像と、前記体内物体の立体画像とを合成して合成画像を生成する皮膚撮影画像生成方法を提供する。

【発明の効果】

【0007】

本発明の画像処理装置及び皮膚撮影画像生成方法によれば、皮膚の内部をより正確に診断するのに寄与することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、三次元撮影装置と一実施形態に係る画像処理装置とが接続されている状態を示すブロック図である。

【図2】図２は、一実施形態に係る画像処理装置を示すブロック図である。

【図3】図３は、三次元撮影装置が皮膚を撮影している状態の一例を示す図である。

【図4】図４は、三次元撮影装置が皮膚を撮影するときに用いて好適な補助具を示す図である。

【図5】図５は、皮膚の内面側の体内に体内物体が存在するときに、皮膚に照射された可視光及び赤外光が反射する様子を示す概念図である。

【図6】図６は、三次元撮影装置が皮膚で反射する可視光及び赤外光を受光する領域の一例を示す図である。

【図7】図７は、体内物体及びその周辺の測距データを概念的に示す図である。

【図8】図８は、一実施形態に係る画像処理装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、一実施形態に係る画像処理装置及び皮膚撮影画像生成方法について、添付図面を参照して説明する。図１において、三次元撮影装置１０と画像処理装置２０とが、一例として、ＢＮＣ（Bayonet Neill Concelman）コネクタＢ１及びＢ２を連結する同軸ケーブルＣｃで接続されている。同軸ケーブルＣｃは、ＳＤＩ（Serial Digital Interface）規格に準拠するＳＤＩケーブルであってもよい。三次元撮影装置１０と画像処理装置２０とは、ＨＤＭＩ（High-Definition Multimedia Interface）ケーブル等の他のケーブルで接続されていてもよい。画像処理装置２０には、表示部３０が接続されている。

【0010】

図１に示すように、三次元撮影装置１０は、レンズ群１１、垂直共振器型面発光レーザ１２、スプリッタ１３、撮像素子１４、可視光画像データ生成部１５、ＴＯＦ（Time of Flight）センサ１６、測距データ生成部１７、合成部１８を備える。垂直共振器型面発光レーザ１２をＶＣＳＥＬ（Vertical Cavity Surface Emitting Laser）と略記する。ＶＣＳＥＬ１２は赤外光源の一例である。

【0011】

ＶＣＳＥＬ１２は一点鎖線で示すように被写体に対して赤外光を照射する。赤外光の波長は、８００ｎｍ～１０００ｎｍにおけるいずれかの波長でよい。ＶＣＳＥＬ１２が被写体に赤外光を照射すると、レンズ群１１には、被写体で反射した、実線で示す可視光と一点鎖線で示す赤外光とが入射する。スプリッタ１３は、例えば、可視光を反射し、赤外光を透過させることによって、可視光と赤外光とを分離する。スプリッタ１３は、プリズムで構成されていてもよい。

【0012】

撮像素子１４は、ＣＣＤ（Charge Coupled Device）センサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサであり、可視光によって被写体を撮像する。可視光画像データ生成部１５は、撮像素子１４による撮像信号に基づいて、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色信号よりなる可視光画像データを生成する。ＴＯＦセンサ１６は、ＶＣＳＥＬ１２が赤外光を射出した時刻から、所定時間後の反射光の反射レベルを測定することで、被写体で反射して戻るまでの時間を計測する。測距データ生成部１７は、ＴＯＦセンサ１６が計測する時間に基づいて測距データを生成する。このように、測距データ生成部１７は、赤外光の反射光に基づいて測距データを生成する。

【0013】

合成部１８は、可視光画像データと測距データとを合成して合成データを生成し、ＢＮＣコネクタＢ１、同軸ケーブルＣｃ、及びＢＮＣコネクタＢ２を介して、画像処理装置２０に供給する。可視光画像データと測距データとを合成せず、個別に、画像処理装置２０に供給してもよい。

【0014】

図２は、画像処理装置２０の具体的な構成例を示す。画像処理装置２０は、分離部２１、皮膚表面確認部２２、体内物体領域抽出部２３、立体画像生成部２４、色付け部２５、合成部２６を備える。画像処理装置２０は、パーソナルコンピュータで構成されていてもよいし、マイクロコンピュータで構成されていてもよいし、回路で構成されていてもよい。画像処理装置２０の動作については後述する。

【0015】

以上のように構成される三次元撮影装置１０は、被写体として、人の皮膚を撮影する。図３に示すように、患者４０は腕を台５０の上に置いている。一例として、三次元撮影装置１０を腕の皮膚４１から所定の距離だけ離して配置して、皮膚４１を撮影する。図４に示すように、三次元撮影装置１０と皮膚４１との距離が一定の距離となるように、皮膚４１上にカップ状の筒６０を配置して、筒６０上に配置した三次元撮影装置１０が皮膚４１を撮影するようにしてもよい。筒６０は補助具の一例である。

【0016】

図５に示すように、皮膚４１の内面側の体内に、体内物体４２が存在するとする。体内物体４２とは、骨等の体内に存在する物体であってもよいし、本来体内には存在しない、体内で発生した異物であってもよいし、本来体内には存在しない、外部から体内へと進入した物体であってもよい。図５において、実線は可視光であり、一点鎖線は赤外光である。可視光は皮膚４１の表面で反射する。赤外光は、皮膚４１の表面で反射することがあり、体内へと侵入して体内物体４２で反射することがある。

【0017】

図６において、三次元撮影装置１０が体内物体４２の直上に位置しているとする。筒６０を用いるか否かにかかわらず、三次元撮影装置１０は体内物体４２が位置する部分を含む所定の領域１０Ｃに赤外光を照射して、領域１０Ｃで反射する可視光及び赤外光を受光する。

【0018】

図２に示す画像処理装置２０の動作を説明する。分離部２１は、可視光画像データと測距データとを分離して、可視光画像データを皮膚表面確認部２２及び合成部２６に供給し、測距データを体内物体領域抽出部２３及び立体画像生成部２４に供給する。三次元撮影装置１０が皮膚４１を撮影するときの領域１０Ｃにおいて、皮膚４１は滑らかであるのがよい。皮膚表面確認部２２は、入力された可視光画像データにおける輝度成分の画素ごとのばらつきが所定の範囲内であれば、皮膚４１は滑らかな状態であると判定する。

【0019】

体内物体領域抽出部２３は、皮膚表面確認部２２によって皮膚４１が滑らかな状態であることが確認されれば、体内物体４２の領域を抽出する。皮膚表面確認部２２を設けることは必須ではないが、設けることが好ましい。

【0020】

図７は、体内物体４２及びその周辺の測距データを概念的に示している。体内物体４２が存在しない領域では、一部の赤外光は皮膚４１で反射し、体内へと侵入した一部の赤外光は所定の吸収率で吸収される。一方で、体内物体４２が存在する領域では、一部の赤外光は皮膚４１で反射し、体内へと侵入した一部の赤外光は体内物体４２で反射する。

【0021】

よって、体内物体４２が存在する領域における測距データは波形Ｄ４２のようになる。波形Ｄ４２は、皮膚４１で反射した反射レベルと体内物体４２で反射した反射レベルとを含む。体内物体４２が存在しない領域では大方一定の波形Ｄ４１のようになる。領域１０Ｃ全体での測距データの平均値はＤａｖｅである。

【0022】

体内物体領域抽出部２３は、入力された測距データと平均値Ｄａｖｅとを比較して、平均値Ｄａｖｅより信号レベルが高い領域を体内物体４２が存在する体内物体領域Ｒ４２として抽出する。体内物体領域Ｒ４２は、ほぼ体内物体４２が存在する領域であることを示している。体内物体領域Ｒ４２を示す情報は、立体画像生成部２４に供給される。

【0023】

立体画像生成部２４は、体内物体領域Ｒ４２を示す情報に基づいて、体内物体領域Ｒ４２における信号レベルから波形Ｄ４１の信号レベルを減算して、体内物体４２のみで反射した測距データを生成する。立体画像生成部２４は、体内物体４２のみで反射した測距データに基づいて体内物体４２を示す立体画像を生成する。立体画像生成部２４は、波形Ｄ４１の部分の測距データに基づいて皮膚４１を示す立体画像を生成する。立体画像生成部２４は、体内物体領域Ｒ４２の部分における皮膚４１の立体画像を生成するため、波形Ｄ４１の部分の測距データに基づいて体内物体領域Ｒ４２の部分の測距データを補間すればよい。

【0024】

立体画像生成部２４が生成した皮膚４１の立体画像を示す立体画像データは、合成部２６に供給され、立体画像生成部２４が生成した体内物体４２の立体画像を示す立体画像データは、色付け部２５に供給される。色付け部２５は、外部からの色付けの指示信号に応答して、体内物体４２の立体画像に指示された色を付けるよう、立体画像データを加工する。色付け部２５で加工された立体画像データは、合成部２６に供給される。なお、立体画像データは点群データで構成される。色付け部２５による色付けは必須ではない。

【0025】

合成部２６は、入力された可視光画像データ、皮膚４１の立体画像データ、及び体内物体４２の立体画像データを合成して、合成画像を示す合成画像データを表示部３０に供給する。表示部３０には、図３に示す患者４０の腕の皮膚４１を示す可視光画像に、皮膚４１の立体画像と体内物体４２の立体画像とを合成した画像が表示される。

【0026】

図８に示すフローチャートを用いて、画像処理装置２０の動作を改めて説明する。図８において、皮膚表面確認部２２は、ステップＳ１にて、可視光画像データに基づいて皮膚４１の表面が滑らかな状態であることを確認する。体内物体領域抽出部２３は、ステップＳ２にて、体内物体領域Ｒ４２を抽出する。立体画像生成部２４は、ステップＳ３にて、体内物体領域Ｒ４２における信号レベルから周囲の信号レベルを減算する。立体画像生成部２４は、ステップＳ４にて、皮膚４１の表面と体内物体４２の立体画像を生成する。合成部２６は、ステップＳ５にて、可視光画像と立体画像とを合成して、表示部３０に供給する。

【0027】

図８では図示を省略しているが、色付け部２５は、色付けの指示信号が入力されれば、ステップＳ４とステップＳ５との間で、体内物体４２の立体画像に色を付ける。

【0028】

画像処理装置２０は、電源のオフ等によって動作を終了するか否かを判定する。動作を終了しなければ（ＮＯ）、画像処理装置２０は、ステップＳ１～Ｓ６の処理を繰り返す。動作を終了すれば（ＹＥＳ）、画像処理装置２０は処理を終了させる。

【0029】

本発明は以上説明した本実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。三次元撮影装置１０と画像処理装置２０とが一体的に構成されていてもよい。この場合、合成部１８及び分離部２１は不要となる。

【符号の説明】

【0030】

１０ 三次元撮影装置
１１ レンズ群
１２ 垂直共振器型面発光レーザ
１３ スプリッタ
１４ 撮像素子
１５ 可視光画像データ生成部
１６ ＴＯＦセンサ
１７ 測距データ生成部
１８，２６ 合成部
２０ 画像処理装置
２１ 分離部
２２ 皮膚表面確認部
２３ 体内物体領域抽出部
２４ 立体画像生成部
２５ 色付け部
３０ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】