特許 7387340 生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-17

(45)【発行日】2023-11-28

(54)【発明の名称】生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231120BHJP

   A61B 5/055 20060101ALI20231120BHJP

   A61B 6/03 20060101ALI20231120BHJP

   G06N 20/00 20190101ALI20231120BHJP

【ＦＩ】

G06T7/00 630

A61B5/055 380

A61B6/03 360D

A61B6/03 360G

A61B6/03 360J

G06N20/00 130

G06T7/00 350C

【請求項の数】 5

(21)【出願番号】P 2019158863

(22)【出願日】2019-08-30

(65)【公開番号】P2021039439

(43)【公開日】2021-03-11

【審査請求日】2022-06-30

(73)【特許権者】

【識別番号】000001959

【氏名又は名称】株式会社 資生堂

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100117019

【弁理士】

【氏名又は名称】渡辺 陽一

(74)【代理人】

【識別番号】100141977

【弁理士】

【氏名又は名称】中島 勝

(74)【代理人】

【識別番号】100150810

【弁理士】

【氏名又は名称】武居 良太郎

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】江連 智暢

(72)【発明者】

【氏名】松原 惇高

【審査官】吉川 康男

(56)【参考文献】

【文献】特開２０１８－１７５２２７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２４４３５７（ＵＳ，Ａ１）

【文献】特表２００５－５０７０９６（ＪＰ，Ａ）

【文献】国際公開第２０１８／２２１６２５（ＷＯ，Ａ１）

【文献】特開２００９－００５８４０（ＪＰ，Ａ）

【文献】申 忱, Fausto Milletari, Holger R. Roth, 小田 紘久, 小田 昌宏, 林 雄一郎, 三澤 一成, 森 健策，CTからの腹部多臓器抽出におけるgroup normalizationの影響に関する考察，電子情報通信学会技術研究報告，日本，電子情報通信学会，2019年01月15日，Vol. 118, No. 412, MI2018-94 (2019-01)，pp. 143-148

【文献】Alican Bozkurt, Trevor Gale, Kivanc Kose, Christi Alessi-Fox, Dana H. Brooks, Milind Rajadhyaksha，Delineation of Skin Strata in Reflectance Confocal Microscopy Images With Recurrent Convolutional Networks，2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)，米国，IEEE，2017年07月21日，pp. 777-785，https://ieeexplore.ieee.org/document/8014842/

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ６／０３

Ｇ０６Ｎ ２０／００

(57)【特許請求の範囲】

【請求項1】

生体または生体サンプルの３次元構造が３次元座標系で表された生体データに含まれる複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に前記生体データを入力することで、前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別する識別部と、
前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果に基づいて、前記複数の第１のボクセルのなかから、生体または生体サンプルの第１の構成要素を表す第２のボクセルと、前記第１の構成要素と所定の関連を有する生体または生体サンプルの第２の構成要素を表す第３のボクセルとを選択する選択部と、
前記第２のボクセル及び前記第３のボクセルを表示装置に表示させる表示制御部と、
を有し、
前記所定の関連は、生成物を受け渡す関係を表し、前記第１の構成要素及び前記第２の構成要素の一方は、前記生成物を生成する第１の細胞であり、前記第１の構成要素及び前記第２の構成要素の他方は、前記生成物を受け取る第２の細胞である
生体構造識別装置。

【請求項2】

前記識別器は、前記生体データが入力される入力層と、前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果を出力する出力層と、前記入力層と前記出力層との間に接続される複数の隠れ層とを有するコンボリューショナルニューラルネットワークであり、前記入力層及び前記複数の隠れ層のうちの少なくとも一つの層は、当該層に入力される前記３次元座標系で表される３次元データに含まれる複数の第４のボクセルのそれぞれについて、当該第４のボクセルを含む３次元領域内の前記第４のボクセルのそれぞれの値を入力とする畳み込み演算を実行する畳み込み層である、請求項１に記載の生体構造識別装置。

【請求項3】

前記生体データに表される生体または生体サンプルは、人または動物の皮膚組織である、請求項１または２に記載の生体構造識別装置。

【請求項4】

生体または生体サンプルの３次元構造が３次元座標系で表された生体データに含まれる複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に前記生体データを入力することで、前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別し、
前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果に基づいて、前記複数の第１のボクセルのなかから、生体または生体サンプルの第１の構成要素を表す第２のボクセルと、前記第１の構成要素と所定の関連を有する生体または生体サンプルの第２の構成要素を表す第３のボクセルとを選択し、
前記第２のボクセル及び前記第３のボクセルを表示装置に表示させる、
ことを含み、
前記所定の関連は、生成物を受け渡す関係を表し、前記第１の構成要素及び前記第２の構成要素の一方は、前記生成物を生成する第１の細胞であり、前記第１の構成要素及び前記第２の構成要素の他方は、前記生成物を受け取る第２の細胞である
生体構造識別方法。

【請求項5】

生体または生体サンプルの３次元構造が３次元座標系で表された生体データに含まれる複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に前記生体データを入力することで、前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別し、
前記複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果に基づいて、前記複数の第１のボクセルのなかから、生体または生体サンプルの第１の構成要素を表す第２のボクセルと、前記第１の構成要素と所定の関連を有する生体または生体サンプルの第２の構成要素を表す第３のボクセルとを選択し、
前記第２のボクセル及び前記第３のボクセルを表示装置に表示させる、
ことをコンピュータに実行させ、
前記所定の関連は、生成物を受け渡す関係を表し、前記第１の構成要素及び前記第２の構成要素の一方は、前記生成物を生成する第１の細胞であり、前記第１の構成要素及び前記第２の構成要素の他方は、前記生成物を受け取る第２の細胞である
生体構造識別用コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えば、生体データに表された生体の３次元構造を識別するための生体構造識別装置、生体構造識別方法及び生体構造識別用コンピュータプログラムに関する。

【背景技術】

【0002】

コンピュータ断層撮影（computed tomography, CT）または核磁気共鳴画像法（magnetic resonance imaging, MRI）といった、生体または生体サンプルの３次元構造を表す生体データを取得する技術が知られている（例えば、非特許文献１～３を参照）。観察者は、例えば、表示装置に表示された、このような生体データを観察することで、その生体データに表された被写体の構造を理解することができる。

【先行技術文献】

【非特許文献】

【0003】

【文献】Brenner, D. J., & Hall, E. J., Computed tomography-an increasing source of radiation exposure, New England Journal of Medicine, 357(22), 2277-2284, 2007年

【文献】Agatston, A. S., Janowitz, W. R., Hildner, F. J., Zusmer, N. R., Viamonte, M., & Detrano, R., Quantification of coronary artery calcium using ultrafast computed tomography, Journal of the American College of Cardiology, 15(4), 827-832, 1990年

【文献】Ogawa, S., Lee, T. M., Kay, A. R., & Tank, D. W., Brain magnetic resonance imaging with contrast dependent on blood oxygenation, Proceedings of the National Academy of Sciences, 87(24), 9868-9872, 1990年

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、観察者が表示装置に表示された生体データを見ながら、その生体データに表された被写体の構造の細部を識別することは、観察者にとって煩雑な作業である。また、場合によっては、観察者が、生体データに表された被写体の部分的な構造を誤認識し、あるいは、見落とすこともある。そこで、そのような生体データに表された被写体の３次元構造を自動的に識別することができる技術が求められている。

【0005】

一つの側面では、本発明は、生体データに表された被写体である生体または生体サンプルの３次元構造を自動的に識別することが可能な生体構造識別装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

一つの実施形態によれば、生体構造識別装置が提供される。この生体構造識別装置は、生体または生体サンプルの３次元構造が３次元座標系で表された生体データに含まれる複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に生体データを入力することで、複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別する識別部を有する。

【0007】

この生体構造識別装置において、識別器は、生体データが入力される入力層と、複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果を出力する出力層と、入力層と出力層との間に接続される複数の隠れ層とを有するコンボリューショナルニューラルネットワークであり、入力層及び複数の隠れ層のうちの少なくとも一つの層は、その層に入力される３次元座標系で表される３次元データに含まれる複数の第２のボクセルのそれぞれについて、その第２のボクセルを含む３次元領域内の第２のボクセルのそれぞれの値を入力とする畳み込み演算を実行する畳み込み層であることが好ましい。

【0008】

また、この生体構造識別装置は、複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果に基づいて、複数の第１のボクセルのなかから、生体または生体サンプルの第１の構成要素を表す第３のボクセルと、第１の構成要素と所定の関連を有する生体または生体サンプルの第２の構成要素を表す第４のボクセルとを選択する選択部と、第３のボクセル及び第４のボクセルを表示装置に表示させる表示制御部とをさらに有することが好ましい。

【0009】

この場合において、所定の関連は、生成物を受け渡す関係を表し、第１の構成要素及び第２の構成要素の一方は、生成物を生成する第１の細胞であり、第１の構成要素及び第２の構成要素の他方は、生成物を受け取る第２の細胞であることが好ましい。

【0010】

さらにこの生体構造識別装置において、生体データに表される生体または生体サンプルは、人または動物の皮膚組織であることが好ましい。

【0011】

他の実施形態によれば、生体構造識別方法が提供される。この生体構造識別方法は、生体または生体サンプルの３次元構造が３次元座標系で表された生体データに含まれる複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に生体データを入力することで、複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別する、ことを含む。

【0012】

さらに他の実施形態によれば、生体構造識別用コンピュータプログラムが提供される。この生体構造識別用コンピュータプログラムは、生体または生体サンプルの３次元構造が３次元座標系で表された生体データに含まれる複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に生体データを入力することで、複数の第１のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別する、ことをコンピュータに実行させるための命令を含む。

【発明の効果】

【0013】

一つの側面によれば、生体構造識別装置は、生体データに表された被写体である生体または生体サンプルの３次元構造を自動的に識別することができる。

【図面の簡単な説明】

【0014】

【図1】一つの実施形態による、生体構造識別装置のハードウェア構成図である。

【図2】生体構造識別装置のプロセッサの機能ブロック図である。

【図3】（ａ）は、識別対象となる生体データの模式図であり、（ｂ）は、（ａ）に示される生体データを識別器に入力することで得られた識別結果データの模式図である。

【図4】生体構造識別処理の動作フローチャートである。

【図5】変形例による、生体構造識別装置が有するプロセッサの機能ブロック図である。

【図6】他の変形例による、生体構造識別装置が有するプロセッサの機能ブロック図である。

【発明を実施するための形態】

【0015】

以下、図を参照しつつ、生体構造識別装置、及び、その生体構造識別装置で利用される生体構造識別方法及び生体構造識別用コンピュータプログラムについて説明する。この生体構造識別装置は、いわゆるセマンティックセグメンテーションを、被写体となる生体または生体サンプルの３次元構造を３次元の直交座標系で表す生体データ（以下、単に生体データと呼ぶ）に対して実行するように予め学習された識別器に、生体データを入力することで、その生体データのボクセルごとに、そのボクセルに表された生体または生体サンプルの構成要素を識別する。

【0016】

なお、生体構造識別処理の対象となる生体データは、どのような手法によって得られるものでもよいが、例えば、CTまたはMRIによって得られる、人または動物の体の一部（例えば、内臓または皮膚組織等）が３次元的に表されたものとすることができる。

【0017】

本実施形態では、生体データは、CTにより得られた、人の皮膚組織のサンプルを表すものとする。

【0018】

図１は、一つの実施形態による、生体構造識別装置のハードウェア構成図である。図１に示されるように、生体構造識別装置１は、通信インターフェース２と、入力装置３と、表示装置４と、メモリ５と、記憶媒体アクセス装置６と、プロセッサ７とを有する。

【0019】

通信インターフェース２は、イーサネット（登録商標）などの通信規格に従った通信ネットワークに接続するための通信インターフェース及びその制御回路を有する。通信インターフェース２は、通信ネットワークを介して接続される他の機器（図示せず）から、様々な情報あるいはデータを受信してプロセッサ７へわたす。通信インターフェース２が受信するデータには、生体構造識別処理の対象となる生体データが含まれていてもよい。また通信インターフェース２は、プロセッサ７から受け取った、生体構造識別処理の実行結果として得られた、生体データに含まれるボクセルごとの生体または生体サンプルの構成要素の識別結果を表す、３次元のデータを、通信ネットワークを介して他の機器へ出力してもよい。

【0020】

入力装置３は、例えば、キーボードと、マウスといったポインティングデバイスとを有する。そして入力装置３は、ユーザによる操作、例えば、生体構造識別処理の対象となる生体データを選択する操作、生体構造識別処理の実行開始を指示する操作、あるいは、生体データに含まれるボクセルごとの生体または生体サンプルの構成要素の識別結果を表すデータを表示装置４に表示させる操作に応じた操作信号を生成し、その操作信号をプロセッサ７へ出力する。

【0021】

表示装置４は、例えば、液晶ディスプレイまたは有機ＥＬディスプレイを有する。そして表示装置４は、プロセッサ７から受け取った表示用のデータ、例えば、生体構造識別処理を実行可能な生体データの候補を表すデータ、あるいは、生体データに含まれるボクセルごとの生体または生体サンプルの構成要素の識別結果を表す、３次元のデータを表示する。

【0022】

なお、入力装置３と表示装置４とは、タッチパネルディスプレイのように一体化された装置であってもよい。

【0023】

メモリ５は、記憶部の一例であり、例えば、読み書き可能な半導体メモリと読み出し専用の半導体メモリである。そしてメモリ５は、例えば、プロセッサ７で実行される生体構造識別処理用のコンピュータプログラム、その生体構造識別処理で用いられる各種のデータ、例えば、識別器を規定するパラメータ群、及び、その生体構造識別処理の実行中に生成される各種のデータを記憶する。さらに、メモリ５は、生体構造識別処理の対象となる生体データ、及び、生体データに含まれるボクセルごとの生体または生体サンプルの構成要素の識別結果を表す、３次元のデータ（以下、識別結果データと呼ぶことがある）を記憶してもよい。

【0024】

記憶媒体アクセス装置６は、例えば、磁気ディスク、半導体メモリカード及び光記憶媒体といった記憶媒体８にアクセスする装置である。なお、記憶媒体アクセス装置６は、記憶媒体８とともに、記憶部の他の一例を構成する。記憶媒体アクセス装置６は、例えば、記憶媒体８に記憶された、プロセッサ７上で実行される生体構造識別処理用のコンピュータプログラム、あるいは、生体データを読み込み、プロセッサ７に渡す。あるいは、記憶媒体アクセス装置６は、識別結果データをプロセッサ７から受け取って、その識別結果データを記憶媒体８に書き込んでもよい。

【0025】

プロセッサ７は、処理部の一例であり、例えば、１個または複数個のＣＰＵ及びその周辺回路を有する。さらに、プロセッサ７は、数値演算用の演算回路及び論理演算用の演算回路を有していてもよい。そしてプロセッサ７は、生体構造識別装置１全体を制御する。また、プロセッサ７は、対象となる生体データに対して生体構造識別処理を実行する。

【0026】

図２は、プロセッサ７の機能ブロック図である。図２に示されるように、プロセッサ７は、識別部１１と、表示制御部１２とを有する。プロセッサ７が有するこれらの各部は、例えば、プロセッサ７上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、プロセッサ７が有するこれらの各部は、プロセッサ７に設けられる、専用の演算回路であってもよい。

【0027】

識別部１１は、生体データに含まれる複数のボクセルのそれぞれに表された生体または生体サンプルの構成要素を識別するように予め学習された識別器に、生体構造識別処理の対象となる生体データを入力することで、その生体データに含まれる複数のボクセルのそれぞれに表された、被写体である生体または生体サンプルの構成要素を識別する。本実施形態では、生体データには、被写体として、皮膚組織のサンプルが表されているので、識別される、生体または生体サンプルの構成要素には、例えば、表皮、毛包、皮脂腺、立毛筋、汗腺、血管、皮層、脂質等が含まれる。

【0028】

識別部１１は、識別器として、例えば、生体データが入力される入力層と、複数のボクセルのそれぞれに表された生体または生体サンプルの構成要素の識別結果を出力する出力層と、入力層と出力層との間に接続される複数の隠れ層とを有するコンボリューショナルニューラルネットワーク（Convolutional Neural Network, CNN）を用いることができる。そして入力層及び複数の隠れ層のうちの少なくとも一つの層は、３次元畳み込み層とすることができる。３次元畳み込み層は、その層に入力される３次元データに含まれる複数のボクセルのそれぞれを着目ボクセルとし、着目ボクセルを含む３次元領域（すなわち、３次元直交座標系の各軸方向について複数のボクセルを含む立体領域）内のボクセルのそれぞれの値を入力とする畳み込み演算（以下、説明の便宜上、３次元畳み込み演算と呼ぶ）を実行する畳み込み層である。さらに、その識別器において、入力層及び複数の隠れ層のうちの複数の層あるいは全ての層が３次元畳み込み層であることが好ましい。これにより、識別器は、生体データに表された被写体である生体に含まれる、様々なサイズの構成要素に応じた特徴を抽出できるので、各ボクセルに表された生体または生体サンプルの構成要素を正確に識別できる。なお、入力層に入力される３次元データは、被写体である生体または生体サンプルが表された生体データそのものであり、各隠れ層に入力される３次元データは、その隠れ層よりも入力側の層により算出された特徴マップである。

【0029】

具体的には、識別部１１は、識別器として、セマンティックセグメンテーション用のCNN、例えば、Fully Convolutional Network(FCN)、SegNet、DeepLabあるいはRefineNetの各畳み込み層のうちの一つ、複数または全てを３次元畳み込み層としたCNNを用いることができる。さらに、識別器は、各畳み込み層よりも出力側に、補間処理を行う１以上の逆畳み込み層を有してもよい。この逆畳み込み層も、補間処理を３次元で実行すればよい。

【0030】

識別部１１は、生体データを上記のような識別器に入力することで、生体データに含まれるボクセルごとに、そのボクセルに表された生体または生体サンプルの構成要素を表す識別結果データを得る。識別結果データは、例えば、生体データと同じサイズを持ち、かつ、各ボクセルが、そのボクセルに表される生体または生体サンプルの構成要素に相当する値（例えば、構成要素「角層」は１、構成要素「上皮」は２、構成要素「コラーゲンファイバー」は３等）を持つ３次元データとして表される。

【0031】

図３（ａ）は、識別対象となる生体データの模式図であり、図３（ｂ）は、図３（ａ）に示される生体データを識別器に入力することで得られた識別結果データの模式図である。図３（ａ）に示される生体データ３００には、被写体である皮膚組織の３次元のサンプルの一つの断面が表されており、このサンプルには、皮膚組織を構成する複数の構成要素が含まれている。そして図３（ｂ）に示される識別結果データ３１０では、皮膚組織を構成する構成要素ごとに識別されていることが分かる。例えば、領域３１１に含まれる各ボクセルには、表皮が表されていることが示されており、領域３１２に含まれる各ボクセルには、毛包が表されていることが示されている。

【0032】

識別部１１は、識別結果データをメモリ５に記憶する。あるいは、識別部１１は、その識別結果データを、記憶媒体アクセス装置６に渡して、記憶媒体８へ書き込ませてもよい。あるいはまた、識別部１１は、その識別結果データを、通信インターフェース２を介して他の機器へ出力してもよい。

【0033】

表示制御部１２は、メモリ５から、あるいは、記憶媒体８から記憶媒体アクセス装置６を介して、識別結果データを読み込み、読み込んだ識別結果データを表示装置４に表示させる。その際、表示制御部１２は、生体または生体サンプルの構成要素ごとに異なる色または異なる輝度を割り当てることで、識別結果データを３次元の表示用モデルで表した表示用データを作成し、その表示用データを表示装置４に表示させてもよい。これにより、ユーザは、表示された識別結果データを参照して、生体データに表された被写体のどこにどのような構成要素が含まれているのかを容易に把握することができる。

【0034】

なお、表示制御部１２は、入力装置３から入力されたユーザの操作に従って、生体データに表された被写体に対する視点方向を設定してもよい。そして表示制御部１２は、設定された視点方向から見たときの識別結果データを表示装置４に表示させてもよい。あるいは、表示制御部１２は、入力装置３から入力されたユーザの操作に従って、生体データに表された被写体における断面を設定してもよい。そして表示制御部１２は、設定された生体データの断面に相当する、識別結果データにおける、その断面上に位置する各ボクセルの識別結果を、表示装置４に表示させてもよい。なお、これらの処理は、３次元モデリングの手法を用いて実現できる。このように、表示制御部１２は、任意の視点から見える各ボクセルの識別結果、または、任意の断面上の各ボクセルの識別結果を表示装置４に表示させることで、ユーザが生体データに表された被写体の生体の構造を把握することをより容易化できる。

【0035】

図４は、生体構造識別処理の動作フローチャートである。プロセッサ７は、識別対象となる生体データごとに、下記の動作フローチャートに従って生体構造識別処理を実行すればよい。

【0036】

プロセッサ７の識別部１１は、メモリ５から、または、記憶媒体アクセス装置６を介して記憶媒体８から、処理対象となる生体データを読み込む（ステップＳ１０１）。あるいは、識別部１１は、他の機器から通信インターフェース２を介して処理対象となる生体データを取得してもよい。識別部１１は、読み込んだ生体データを識別器に入力することで、生体データの各ボクセルについて、そのボクセルに表された生体または生体サンプルの構成要素の識別結果を表す識別結果データを生成する（ステップＳ１０２）。そして識別部１１は、得られた識別結果データをメモリ５、または、記憶媒体アクセス装置６を介して記憶媒体８に書き込む（ステップＳ１０３）。なお、上記のように、識別部１１は、得られた識別結果データを、通信インターフェース２を介して他の機器へ出力してもよい。

【0037】

プロセッサ７の表示制御部１２は、入力装置３を介したユーザの操作に従って、識別結果データを表示装置４に表示させる（ステップＳ１０４）。そしてプロセッサ７は、生体構造識別処理を終了する。なお、ステップＳ１０４の処理は省略されてもよい。

【0038】

以上に説明してきたように、この生体構造識別装置は、セマンティックセグメンテーションを、３次元の生体データに対して実行するように予め学習された識別器に、被写体となる生体または生体サンプルが表された生体データを入力することで、その生体データのボクセルごとに、そのボクセルに表された生体または生体サンプルの構成要素を識別する。そのため、この生体構造識別装置は、生体データに表された被写体である生体または生体サンプルの３次元構造を自動的に識別することができる。

【0039】

変形例によれば、生体構造識別装置は、識別結果データで表される何れかの構成要素とともに、その構成要素に対して所定の関連を有する他の構成要素を選択して表示装置４に表示させてもよい。

【0040】

図５は、この変形例による、生体構造識別装置が有するプロセッサの機能ブロック図である。図５に示されるように、プロセッサ２０は、識別部１１と、選択部２１と、表示制御部１２とを有する。プロセッサ２０が有するこれらの各部は、例えば、プロセッサ２０上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、プロセッサ２０が有するこれらの各部は、プロセッサ２０に設けられる、専用の演算回路であってもよい。

【0041】

この変形例によるプロセッサ２０は、図２に示される、上記の実施形態によるプロセッサ７と比較して、選択部２１を有する点、及び、表示制御部１２の処理の一部について相違する。そこで以下では、選択部２１、表示制御部１２及びその関連部分について説明する。生体構造識別装置の他の構成要素については、上記の実施形態における対応する構成要素の説明を参照されたい。

【0042】

選択部２１は、識別結果データから、入力装置３を介してユーザの操作により指定された構成要素（第１の構成要素）が表されたボクセルとともに、その指定された構成要素と所定の関連を持つ構成要素（第２の構成要素）が表されたボクセルを選択する。所定の関連は、例えば、第１の構成要素と第２の構成要素とが接触していること、あるいは、第１の構成要素と第２の構成要素との間に何らかの相互作用が存在することとすることができる。本実施形態において生体データに表される皮膚組織においては、例えば、皮脂線から分泌された皮脂は毛包を介して皮膚表面に現れる。また、立毛筋は毛包の向きを皮膚表面に対して垂直にする。したがって、選択部２１は、このような、皮膚組織を構成する何れかの細胞により生成された生成物の受け渡しを行う二つの細胞、あるいは、物理的に相互に作用する二つの細胞を、それぞれ、第１の構成要素及び第２の構成要素とすることができる。

【0043】

例えば、第１の構成要素と接している第２の構成要素が表されたボクセルを選択するために、選択部２１は、第１の構成要素が表されたボクセルのそれぞれについて、そのボクセルに隣接するボクセルのなかから、入力装置３を介して指定された第２の構成要素が表されたボクセルを抽出する。そして選択部２１は、抽出したボクセルに対してラベリング処理を実行することで、抽出されたボクセルと連結している第２の構成要素が表されたボクセルの集合を、第１の構成要素と接している第２の構成要素を表すボクセルとして選択できる。

【0044】

また、例えば、メモリ５に、相互作用がある構成要素の組み合わせを表す参照テーブルが予め記憶されていてもよい。選択部２１は、その参照テーブルを参照することで、入力装置３を介して指定された第１の構成要第１の構成要素に対して、入力装置３を介して指定された種類の相互作用を持つ第２の構成要素を特定することができる。そして選択部２１は、識別結果データから、第１の構成要素が表されたボクセルと第２の構成要素が表されたボクセルとをそれぞれ選択すればよい。

【0045】

選択部２１は、例えば、識別結果データに含まれる各ボクセルのうち、選択したボクセルのそれぞれに、選択したことを表すフラグを付せばよい。そして選択部２１は、識別結果データとともに、そのフラグを表示制御部１２へ渡すことで、表示制御部１２に対して第１の構成要素が表されたボクセルと、第１の構成要素と所定の関連を持つ第２の構成要素が表されたボクセルとを、表示制御部１２へ通知することができる。

【0046】

表示制御部１２は、識別結果データのうち、第１の構成要素が表されたボクセルと、第１の構成要素と所定の関連を持つ第２の構成要素が表されたボクセルとを、表示装置４に表示させる。その際、上記の実施形態と同様に、表示制御部１２は、第１の構成要素が表されたボクセルの色または輝度と第２の構成要素が表されたボクセルの色または輝度とを互いに異ならせてもよい。また表示制御部１２は、第１の構成要素が表されたボクセルと、第１の構成要素と所定の関連を持つ第２の構成要素が表されたボクセル以外のボクセルについては透明化してもよい。

【0047】

この変形例によれば、生体構造識別装置は、ユーザが、第１の構成要素と、第１の構成要素と所定の関連を持つ第２の構成要素との立体的な分布を把握すること容易化できる。

【0048】

他の変形例によれば、生体構造識別装置は、識別器を学習可能であってもよい。

【0049】

図６は、この変形例による、生体構造識別装置が有するプロセッサの機能ブロック図である。図６に示されるように、プロセッサ３０は、学習部３１と、識別部１１と、表示制御部１２とを有する。プロセッサ３０が有するこれらの各部は、例えば、プロセッサ３０上で実行されるコンピュータプログラムによって実現される機能モジュールである。あるいは、プロセッサ３０が有するこれらの各部は、プロセッサ３０に設けられる、専用の演算回路であってもよい。

【0050】

この変形例によるプロセッサ３０は、図２に示される、上記の実施形態によるプロセッサ７と比較して、学習部３１を有する点で相違する。そこで以下では、学習部３１及びその関連部分について説明する。生体構造識別装置の他の構成要素については、上記の実施形態における対応する構成要素の説明を参照されたい。

【0051】

学習部３１は、識別器を学習する。そのために、例えば、識別器の学習に利用される複数の教師データが、メモリ５あるいは記憶媒体８に予め記憶される。複数の教師データのそれぞれは、例えば、生体データと、その生体データに含まれる各ボクセルに表された生体または生体サンプルの構成要素を表すデータである。学習部３１は、メモリ５から、あるいは、記憶媒体アクセス装置６を介して記憶媒体８から複数の教師データを読み込む。そして学習部３１は、その複数の教師データを用いて、誤差逆伝搬法といった、識別器の種類に応じた教師有り学習手法に従って識別器を学習すればよい。

【0052】

学習部３１は、学習した識別器を規定するパラメータ群（例えば、各畳み込み層の畳み込み演算を規定するパラメータなど）を、メモリ５あるいは記憶媒体アクセス装置６を介して記憶媒体８に記憶すればよい。そして識別部１１は、学習部３１により学習された識別器に、生体データを入力することで、識別結果データをもとめればよい。

【0053】

この変形例によれば、生体構造識別装置は、識別器を学習できるので、識別器による生体構造の識別精度を向上できる。
また、この変形例においても、プロセッサ３０は、図５に示される変形例における選択部２１の処理を実行してもよい。

【0054】

上記の実施形態または各変形例において、識別部１１が利用する識別器は、CNN以外のセマンティックセグメンテーション用の機械学習手法により構成されるものであってもよい。例えば、識別器は、ランダムフォレストにより構成されるものであってもよい。この場合でも、識別部１１は、処理対象となる生体データに含まれるボクセルのそれぞれについて、そのボクセルを含む３次元領域内の各ボクセルの値を入力とする複数の種類の演算を実行することで複数の３次元的な特徴量を算出する。そして識別部１１は、各ボクセルについて算出された複数の３次元的な特徴量を識別器に入力することで、ボクセルごとに、そのボクセルに表された生体または生体サンプルの構成要素を識別すればよい。

【0055】

さらに、生体構造の識別結果データが他の機器により表示されるか、あるいは、識別結果データの表示が必要でない場合には、プロセッサにおいて、表示制御部１２は省略されてもよい。また、生体構造識別装置とは別個のコンピュータのプロセッサが、上記の実施形態による表示制御部１２の処理、及び、選択部２１の処理を実行してもよい。同様に、生体構造識別装置とは別個のコンピュータのプロセッサが、学習部３１の処理を実行してもよい。

【0056】

さらに、上記の実施形態または変形例による生体構造識別装置のプロセッサが有する各部の機能をコンピュータに実現させるコンピュータプログラムは、コンピュータによって読取り可能な記録媒体に記憶された形で提供されてもよい。なお、コンピュータによって読取り可能な記録媒体は、例えば、磁気記録媒体、光記録媒体、又は半導体メモリとすることができる。

【符号の説明】

【0057】

１ 生体構造識別装置
２ 通信インターフェース
３ 入力装置
４ 表示装置
５ メモリ
６ 記憶媒体アクセス装置
７、２０、３０ プロセッサ
８ 記憶媒体
１１ 識別部
１２ 表示制御部
２１ 選択部
３１ 学習部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】