特許 7634919 頭部３次元モデル生成システム、プログラム及び頭部３次元モデル生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-02-14

(45)【発行日】2025-02-25

(54)【発明の名称】頭部３次元モデル生成システム、プログラム及び頭部３次元モデル生成方法

(51)【国際特許分類】

   A61B 5/107 20060101AFI20250217BHJP

   G06T 7/55 20170101ALI20250217BHJP

【ＦＩ】

A61B5/107 110

G06T7/55

【請求項の数】 16

(21)【出願番号】P 2024079758

(22)【出願日】2024-05-15

【審査請求日】2024-06-12

(73)【特許権者】

【識別番号】521407050

【氏名又は名称】株式会社Ｂｅｒｒｙ

(74)【代理人】

【識別番号】100145713

【弁理士】

【氏名又は名称】加藤 竜太

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(72)【発明者】

【氏名】中野 裕士

(72)【発明者】

【氏名】名越 優太郎

(72)【発明者】

【氏名】姜 凱元

【審査官】磯野 光司

(56)【参考文献】

【文献】米国特許出願公開第２０２２／０１９８６５９（ＵＳ，Ａ１）

【文献】中国特許出願公開第１１３８５０２９９（ＣＮ，Ａ）

【文献】中国特許出願公開第１０９９７８９２０（ＣＮ，Ａ）

【文献】特開２０２２－０６７６９４（ＪＰ，Ａ）

【文献】特開２０２０－１４９１４０（ＪＰ，Ａ）

【文献】BARBERO-GARCIA, Ines et al.，Fully automatic smartphone-based photogrammetric 3D modelling of infant's heads for cranial deformation analysis，ISPRS Journal of Photogrammetry and Remote Sensing，2020年08月，Vol.166，pp.268-277，ISSN: 0924-2716, DOI: 10.1016/j.isprsjprs.2020.06.013

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ５／１０７

Ｇ０６Ｔ １／００－１９／２０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

対象者の頭部を撮影する撮影部と、該撮影部によって撮影された前記頭部の画像を処理する処理部と、を有する電子端末と、前記電子端末と通信可能なサーバと、を備える頭部３次元モデル生成システムであって、
前記電子端末の前記処理部は、
前記撮影部によってそれぞれ異なる方向から撮影された前記頭部の複数の画像を取得する画像取得部と、
前記画像取得部によって取得された画像が所定の条件を満たす適合画像であるか否かを判定するフィルタリング処理部と、を有し、
前記サーバは、
前記フィルタリング処理部によって前記所定の条件を満たすと判定された複数の適合画像に基づいて、前記頭部の立体的な外形形状を示す３次元モデルを生成する３次元モデル生成部と、を有し、
前記撮影部は、シートによって覆われた状態の前記頭部を撮影し、
前記シートにおける前記頭部を覆う部分の表面には、複数のマーカが間隔を空けて形成され、
前記画像取得部は、
撮影された前記頭部の画像上における前記頭部全体が画像の中心から所定の範囲である第１検出領域内に位置し、かつ前記撮影された前記頭部の画像上における少なくとも１つのマーカが画像の中心から所定の範囲であり、前記第１検出領域よりも小さい第２検出領域内に位置するか否かを判定し、
前記マーカが画像上の前記第２検出領域内に位置すると判定した場合、前記第２検出領域内に存在する前記マーカを特定されたマーカとして特定し、その画像を特定されたマーカに対応する画像として取得し、
複数の前記マーカが前記第２検出領域内に存在する場合、画像の中心に最も近い前記マーカを、前記特定されたマーカとして取得し、
前記フィルタリング処理部は、前記特定されたマーカに対応する画像に対して適合画像であるか否かを判定する処理を実行する頭部３次元モデル生成システム。

【請求項2】

前記所定の条件は、画像のボケの程度に関する条件を含む請求項１に記載の頭部３次元モデル生成システム。

【請求項3】

前記フィルタリング処理部は、
前記画像取得部によって取得された画像をフーリエ変換して変換データを取得し、
変換された前記変換データにおける低空間周波数成分を除外した空間周波数の平均値に基づいて、前記画像のボケの程度を特定する請求項２に記載の頭部３次元モデル生成システム。

【請求項4】

前記所定の条件は、前記撮影部による前記頭部の撮影時における前記撮影部と前記頭部との間の距離に関する条件を含む請求項１に記載の頭部３次元モデル生成システム。

【請求項5】

前記フィルタリング処理部は、
前記マーカに対応する画像上での前記マーカの位置を示す位置情報と、前記撮影部に設定されている焦点距離及びイメージセンサのサイズを含むパラメータ情報と、に基づいて、前記撮影部と前記マーカとの間の距離を特定する請求項４に記載の頭部３次元モデル生成システム。

【請求項6】

前記所定の条件は、前記撮影部による前記頭部の撮影時における前記頭部に対する前記撮影部の向きに関する条件を含む請求項１に記載の頭部３次元モデル生成システム。

【請求項7】

前記フィルタリング処理部は、
前記マーカに対応する画像上での前記マーカの位置を示す位置情報と、前記撮影部に設定されている焦点距離及びイメージセンサのサイズを含むパラメータ情報と、に基づいて、前記頭部に対する前記撮影部の向きを特定する請求項６に記載の頭部３次元モデル生成システム。

【請求項8】

前記マーカは、前記頭部における位置情報と関連付けられた複数の識別マーカであり、
前記シートにおける前記頭部を覆う部分の表面には、複数の前記識別マーカとともに、複数の色柄が形成され、
前記３次元モデル生成部は、予め定められた全ての前記識別マーカに対応する画像の前記適合画像の前記識別マーカと関連付けられた前記位置情報と前記色柄とに基づいて、前記３次元モデルを生成する請求項１に記載の頭部３次元モデル生成システム。

【請求項9】

前記シートの表面に形成される全ての前記色柄は、それぞれ異なる請求項８に記載の頭部３次元モデル生成システム。

【請求項10】

前記所定の条件は、前記撮影部による前記頭部の撮影時における前記撮影部と前記頭部との間の距離に関する条件と、前記撮影部による前記頭部の撮影時における前記頭部に対する前記撮影部の向きに関する条件と、を含む請求項１に記載の頭部３次元モデル生成システム。

【請求項11】

前記所定の条件は、前記画像のボケの程度に関する条件を更に含む請求項１０に記載の頭部３次元モデル生成システム。

【請求項12】

前記フィルタリング処理部は、前記画像取得部によって取得された画像が前記ボケの程度に関する条件を満たすか否かを判定した後に、前記ボケの程度に関する条件を満たすと判定された画像が前記撮影部による前記頭部の撮影時における前記撮影部と前記頭部との間の距離に関する条件と、前記撮影部による前記頭部の撮影時における前記頭部に対する前記撮影部の向きに関する条件と、を満たすか否かを判定する請求項１１に記載の頭部３次元モデル生成システム。

【請求項13】

前記サーバは、前記適合画像上の対象者の頭部を含む検出対象画像を検出し、前記適合画像上における前記検出対象画像以外の情報を除去する背景除去部を更に有し、
前記３次元モデル生成部は、前記背景除去部によって前記検出対象画像以外の情報が除去された複数の前記適合画像に基づいて、前記頭部の立体的な外形形状を示す３次元モデルを生成する請求項１に記載の頭部３次元モデル生成システム。

【請求項14】

それぞれ異なる方向から撮影された対象者の頭部の複数の画像を取得する画像取得工程と、
前記画像取得工程で取得された画像が所定の条件を満たす適合画像であるか否かを判定するフィルタリング処理工程と、
前記フィルタリング処理工程で前記所定の条件を満たすと判定された複数の適合画像に基づいて、前記頭部の立体的な外形形状を示す３次元モデルを生成する３次元モデル生成工程と、をコンピュータに実行させるプログラムであり、
前記画像取得工程では、
シートによって覆われた状態で撮影された前記頭部の画像が取得され、
前記シートにおける前記頭部を覆う部分の表面には、複数のマーカが間隔を空けて形成され、
撮影された前記頭部の画像上における前記頭部全体が画像の中心から所定の範囲である第１検出領域内に位置し、かつ前記撮影された前記頭部の画像上における少なくとも１つのマーカが画像の中心から所定の範囲であり、前記第１検出領域よりも小さい第２検出領域内に位置するか否かを判定し、
前記マーカが画像上の前記第２検出領域内に位置すると判定した場合、前記第２検出領域内に存在する前記マーカを特定されたマーカとして特定し、その画像を特定されたマーカに対応する画像として取得し、
複数の前記マーカが前記第２検出領域内に存在する場合、画像の中心に最も近い前記マーカを、前記特定されたマーカとして取得し、
前記フィルタリング処理工程では、前記特定されたマーカに対応する画像に対して適合画像であるか否かを判定する処理をコンピュータに実行させるプログラム。

【請求項15】

対象者の頭部の複数の画像に基づいて、前記頭部の立体的な外形形状を示す３次元モデルを生成するサーバとともに、前記３次元モデルを生成するための３次元モデル生成処理をコンピュータに実行させるプログラムであって、
前記３次元モデル生成処理は、
それぞれ異なる方向から撮影された対象者の頭部の複数の画像を取得する画像取得工程と、
前記画像取得工程で取得された画像が所定の条件を満たす適合画像であるか否かを判定するフィルタリング処理工程と、
前記フィルタリング処理工程で所定の条件を満たすと判定された複数の適合画像を前記サーバに送信する送信工程と、を含み、
前記画像取得工程では、
シートによって覆われた状態で撮影された前記頭部の画像が取得され、
前記シートにおける前記頭部を覆う部分の表面には、複数のマーカが間隔を空けて形成され、
撮影された前記頭部の画像上における前記頭部全体が画像の中心から所定の範囲である第１検出領域内に位置し、かつ前記撮影された前記頭部の画像上における少なくとも１つのマーカが画像の中心から所定の範囲であり、前記第１検出領域よりも小さい第２検出領域内に位置するか否かを判定し、
前記マーカが画像上の前記第２検出領域内に位置すると判定した場合、前記第２検出領域内に存在する前記マーカを特定されたマーカとして特定し、その画像を特定されたマーカに対応する画像として取得し、
複数の前記マーカが前記第２検出領域内に存在する場合、画像の中心に最も近い前記マーカを、前記特定されたマーカとして取得し、
前記フィルタリング処理工程では、前記特定されたマーカに対応する画像に対して適合画像であるか否かを判定するプログラム。

【請求項16】

コンピュータが実行する３次元モデル生成方法であって、
それぞれ異なる方向から撮影された対象者の頭部の複数の画像を取得する画像取得工程と、
前記画像取得工程で取得された画像が所定の条件を満たす適合画像であるか否かを判定するフィルタリング処理工程と、
前記フィルタリング処理工程で前記所定の条件を満たすと判定された複数の適合画像に基づいて、前記頭部の立体的な外形形状を示す３次元モデルを生成する３次元モデル生成工程と、を含み、
前記画像取得工程では、
シートによって覆われた状態で撮影された前記頭部の画像が取得され、
前記シートにおける前記頭部を覆う部分の表面には、複数のマーカが間隔を空けて形成され、
撮影された前記頭部の画像上における前記頭部全体が画像の中心から所定の範囲である第１検出領域内に位置し、かつ前記撮影された前記頭部の画像上における少なくとも１つのマーカが画像の中心から所定の範囲であり、前記第１検出領域よりも小さい第２検出領域内に位置するか否かを判定し、
前記マーカが画像上の前記第２検出領域内に位置すると判定した場合、前記第２検出領域内に存在する前記マーカを特定されたマーカとして特定し、その画像を特定されたマーカに対応する画像として取得し、
複数の前記マーカが前記第２検出領域内に存在する場合、画像の中心に最も近い前記マーカを、前記特定されたマーカとして取得し、
前記フィルタリング処理工程では、前記特定されたマーカに対応する画像に対して適合画像であるか否かを判定する３次元モデル生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、頭部３次元モデル生成システム、プログラム及び頭部３次元モデル生成方法に関する。

【背景技術】

【0002】

従来、斜頭等の治療を要する頭蓋変形が生じた乳幼児等の対象者に対し、頭部の形状を矯正する頭蓋形状矯正ヘルメットが知られている。この種の頭蓋形状矯正ヘルメットが記載されるものとして例えば特許文献１がある。

【0003】

特許文献１には、乳児の頭部の外形に基づいて設計され、該頭部を押圧して頭蓋骨形状の矯正を行うための外装部材と、該外装部材の内面に設けられ、該外装部材による頭部への刺激を緩衝するための内装部材とを備える乳児用頭蓋骨矯正ヘルメットについて記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－１８３３３０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、頭蓋形状矯正ヘルメットは、例えば、対象者の頭部をそれぞれ異なる方向から撮影された複数の画像から頭部の立体的な外形形状を示す３次元モデルを生成し、生成された３次元モデルに基づいて製造される。この場合、正確な３次元モデルを生成するために画像から頭部の外形形状に関する正確な情報を読み取ることが重要である。しかし、被写体が乳幼児等である場合、画像の撮影時に乳幼児が動き、撮影した画像から頭部の外形形状に関する正確な情報を読み取ることが難しい場合がある。

【0006】

本発明は、静止させた状態を保つことが難しい対象者の頭部の３次元モデルを生成する場合であっても、正確な３次元モデルを生成できる頭部３次元モデル生成システム、プログラム及び頭部３次元モデル生成方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

頭部３次元モデル生成システムは、対象者の頭部を撮影する撮影部と、該撮影部によって撮影された画像を処理する処理部と、を有する電子端末と、前記電子端末と通信可能なサーバと、を備える頭部３次元モデル生成システムであって、前記電子端末の前記処理部は、前記撮影部によってそれぞれ異なる方向から撮影された前記頭部の複数の画像を取得する画像取得部と、前記画像取得部によって取得された画像が所定の条件を満たす適合画像であるか否かを判定するフィルタリング処理部と、を有し、前記サーバは、前記フィルタリング処理部によって前記所定の条件を満たすと判定された複数の適合画像に基づいて、前記頭部の立体的な外形形状を示す３次元モデルを生成する３次元モデル生成部と、を有する。

【発明の効果】

【0008】

本発明によれば、静止させた状態を保つことが難しい対象者の頭部の３次元モデルを生成する場合であっても、正確な３次元モデルを生成できる。

【図面の簡単な説明】

【0009】

【図1】本発明の一実施形態に係る頭部３次元モデル生成システムを示す模式図である。

【図2】本発明の一実施形態に係る頭部３次元モデル生成システムにおけるサーバのハードウェアの構成を示すブロック図である。

【図3】本発明の一実施形態に係る頭部３次元モデル生成システムにおける電子端末のハードウェアの構成を示すブロック図である。

【図4】頭部の撮影時における電子端末の表示部を示す模式図である。

【図5】図４に示す状態で電子端末の撮影部によって撮影された画像の一例を示す模式図である。

【図6】本発明の一実施形態に係る頭部３次元モデル生成システムにおける電子端末の機能ブロックの構成を示すブロック図である。

【図7A】被写体が静止した状態であり、ピントが合っている画像を示す図である。

【図7B】図７Ａに示す画像をフーリエ変換して得られた変換データを示す図である。

【図8A】被写体が静止した状態であるが、ピントが合っていない画像を示す図である。

【図8B】図８Ａに示す画像をフーリエ変換して得られた変換データを示す図である。

【図9A】被写体が動いている状態で撮影された画像を示す図である。

【図9B】図９Ａに示す画像をフーリエ変換して得られた変換データを示す図である。

【図10】頭部と撮影部との距離及び角度に関する条件についての説明図である。

【図11】頭部と撮影部との距離に関する条件に付いての説明図である。

【図12】本発明の一実施形態に係る頭部３次元モデル生成システムにおけるサーバの機能ブロックの構成を示すブロック図である。

【図13】本発明の一実施形態に係る電子端末によって実行される３次元モデル生成処理の一例を示すフローチャートである。

【図14】本発明の一実施形態に係るサーバによって実行される３次元モデル生成処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を参照しながら説明する。図１は、本実施形態の頭部３次元モデル生成システム１と乳幼児４を示す模式図である。

【0011】

本実施形態に係る頭部３次元モデル生成システム１は、乳児及び幼児を含む乳幼児４等の対象者の頭部４１の立体的な外形形状を示す３次元モデルを生成するためのシステムである。本実施形態では、頭蓋形状矯正ヘルメットを作成する場合に用いる３次元モデルの生成を例に説明する。

【0012】

頭蓋形状矯正ヘルメットについて説明する。頭蓋形状矯正ヘルメットとは、対象者としての乳幼児４の頭部４１に被せることにより、頭蓋の成長に伴って頭蓋の形状が矯正されるように変形を促すものである。対象となる乳幼児４としては、例えば斜頭、短頭、長頭等の治療を要する頭蓋変形が生じた乳児や幼児等が挙げられる。斜頭とは、頭蓋が左右対称ではなく片側に傾斜している変形形状である。短頭とは、頭蓋の前後方向寸法が著しく短い変形形状である。長頭とは、頭蓋の前後方向寸法が著しく長い変形形状である。なお、対象者としては、特に限定されず、乳幼児以外であってもよく、小児であってもよく、成人であってもよい。

【0013】

頭蓋形状矯正ヘルメットは、対象者それぞれの治療目標となる理想の頭部４１の３次元モデル（以下、理想３次元モデルという）に基づいて設計される。頭部４１の理想３次元モデルは、個々の乳幼児４の頭部４１の画像等の外形形状に関するデータを取得し、取得したデータに用いて生成された実際の頭部４１の３次元モデル（以下、単に３次元モデルという）に基づいて作成される。このため、頭蓋形状矯正ヘルメットの作成において、乳幼児４の頭部４１の外形形状に関する正確なデータを取得し、正確な３次元モデルを生成することが重要である。

【0014】

頭部３次元モデル生成システム１について説明する。頭部３次元モデル生成システム１は、図１に示すように、電子端末２と、該電子端末２と通信可能なサーバ３と、を備える。

【0015】

電子端末２は、それぞれ異なる方向から撮影された頭部４１の複数の画像を取得し、３次元モデルを生成するための前処理を行う装置である。電子端末２は、画像を撮影する機能及び通信機能を有している機器であれば特に限定されない。電子端末２としては、例えばスマートフォンやタブレット等が挙げられる。

【0016】

サーバ３は、電子端末２から受信した複数の画像に基づいて、３次元モデルを生成する装置である。

【0017】

サーバ３のハードウェアの構成の一例について図２を参照しながら説明する。図２は、頭部３次元モデル生成システム１におけるサーバ３のハードウェアの構成を示すブロック図である。

【0018】

サーバ３は、図２に示すように、コンピュータ３３と、記憶部３１と、通信部３２と、を含む。そして、バス３３４等が、これら各部を接続する。

【0019】

コンピュータ３３は、プロセッサ３３１と、主記憶装置としてのＲＯＭ（read-only memory）３３２及びＲＡＭ（random-access memory）３３３と、を含む。プロセッサ３３１は、ＣＰＵ（central processing unit）、ＭＰＵ（micro processing unit）、ＳｏＣ（system on a chip）、ＤＳＰ（digital signal processor）、ＧＰＵ（graphics processing unit）、ＡＳＩＣ（application specific integrated circuit）、ＰＬＤ（programmable logic device）又はＦＰＧＡ（field-programmable gate array）などである。あるいは、プロセッサ３３１は、これらのうちの複数を組み合わせたものである。また、プロセッサ３３１は、これらにハードウェアアクセラレーターなどを組み合わせたものであっても良い。プロセッサ３３１は、ＲＯＭ３３２、ＲＡＭ３３３又は記憶部３１の一部である補助記憶装置などに記憶されたファームウェア、システムソフトウェア及びアプリケーションソフトウェアなどのプログラムに基づいて、サーバ３の各種の機能を実現するべく各部を制御する。なお、当該プログラムの一部又は全部は、プロセッサ３３１の回路内に組み込まれていても良い。

【0020】

記憶部３１は、ハードウェア群をサーバ３として機能させるための各種プログラム、及び各種データなどの記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ、半導体ドライブ（ＳＳＤ）又はハードディスクドライブ（ＨＤＤ）などで構成することができる。具体的には、記憶部３１には、本実施形態の各機能をコンピュータ３３に実行させるためのプログラム、電子端末２から取得した画像、生成した頭部４１の３次元モデル等が記憶される。

【0021】

通信部３２は、サーバ３がネットワークを介して電子端末２や他の装置と通信を行うための処理を実行する。本実施形態の通信部３２は、電子端末２とサーバ３との間で無線通信可能に構成される。

【0022】

電子端末２のハードウェアの構成の一例について図３を参照しながら説明する。図３は、頭部３次元モデル生成システム１における電子端末２のハードウェアの構成を示すブロック図である。

【0023】

電子端末２は、図３に示すように、コンピュータ２６と、撮影部２１と、記憶部２２と、通信部２３と、入力部２４と、表示部２５と、を含む。そして、バス２６４等が、これら各部を接続する。

【0024】

コンピュータ２６は、プロセッサ２６１と、主記憶装置としてのＲＯＭ（read-only memory）２６２及びＲＡＭ（random-access memory）２６３と、を含む。プロセッサ２６１は、ＣＰＵ（central processing unit）、ＭＰＵ（micro processing unit）、ＳｏＣ（system on a chip）、ＤＳＰ（digital signal processor）、ＧＰＵ（graphics processing unit）、ＡＳＩＣ（application specific integrated circuit）、ＰＬＤ（programmable logic device）又はＦＰＧＡ（field-programmable gate array）などである。あるいは、プロセッサ２６１は、これらのうちの複数を組み合わせたものである。また、プロセッサ２６１は、これらにハードウェアアクセラレーターなどを組み合わせたものであっても良い。プロセッサ２６１は、ＲＯＭ２６２、ＲＡＭ２６３又は記憶部２２の一部である補助記憶装置などに記憶されたファームウェア、システムソフトウェア及びアプリケーションソフトウェアなどのプログラムに基づいて、電子端末２の各種の機能を実現するべく各部を制御する。なお、当該プログラムの一部又は全部は、プロセッサの回路内に組み込まれていても良い。

【0025】

撮影部２１は、被写体を撮影する装置であり、レンズ２１１と、調整機構２１２と、イメージセンサ２１３と、Ａ／Ｄ変換部２１４と、を主に備える。

【0026】

レンズ２１１は、被写体を撮影するために、光を集光するレンズで構成される。レンズ２１１としては、例えばイメージセンサ２１３の受光面に被写体像を結像させるレンズや焦点距離を一定の範囲で自在に変化させるレンズ等が挙げられる。

【0027】

調整機構２１２は、露光時間、絞り、ＩＳＯ感度、焦点距離等を調整するための機構である。

【0028】

イメージセンサ２１３は、行列のマトリックス状に各画素を二次元配置した受光面に被写体を結像させ、電気信号に変換する。イメージセンサ２１３は、例えば、ＣＭＯＳイメージセンサであってもよく、ＣＣＤイメージセンサであってもよい。

【0029】

Ａ／Ｄ変換部２１４は、イメージセンサ２１３から読み出された電気信号をデジタル信号に変換する。Ａ／Ｄ変換部２１４によって変換されたデジタル信号によって画像が形成される。撮影部２１によって撮像された画像は、コンピュータ２６や記憶部２２、表示部２５等に送信される。

【0030】

記憶部２２は、ハードウェア群を電子端末２として機能させるための各種プログラム、及び各種データなどの記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ、半導体ドライブ（ＳＳＤ）又はハードディスクドライブ（ＨＤＤ）などで構成することができる。具体的には、記憶部２２には、本実施形態の各機能をコンピュータ２６に実行させるためのプログラム、撮影部２１のイメージセンサ２１３のサイズ、後述する識別マーカ５２のサイズ及び形状、画像に対する後述する品質基準等が記憶される。

【0031】

通信部２３は、電子端末２がサーバ３や他の装置と通信を行うための処理を実行する。本実施形態の通信部２３は、電子端末２とサーバ３との間で無線通信可能に構成される。

【0032】

入力部２４は、電気的にコンピュータ２６に接続されるユーザインターフェースである。入力部２４は、ボタンやディスプレイ２７によって構成される。ディスプレイ２７は、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（Electro-Luminescent）ディスプレイで構成されており、ディスプレイ２７の画像表示面には、ユーザによるタッチ位置を検出するタッチパネルが設けられる。ユーザがディスプレイ２７の画像表示面をタッチすることで情報の入力を行うことができる。

【0033】

表示部２５は、電気的にコンピュータ２６に接続されるユーザインターフェースである。表示部２５は、ディスプレイ２７によって構成される。表示部２５には、撮影部２１や記憶部２２、コンピュータ２６等から送信された画像や種々の情報が表示される。

【0034】

本実施形態の撮影部２１は、頭部４１等の被写体を静止画として撮影する機能を有していてもよく、動画として撮影する機能を有していてもよく、静止画及び動画の両方で撮影する機能を有していてもよい。なお、本明細書において画像とは、静止画を意味する。

【0035】

ここで、ユーザが電子端末２を用いて乳幼児４の頭部４１を撮像する様子について図４及び図５を参照しながら説明する。図４は、電子端末２による乳幼児４の頭部４１の撮影時における表示部２５の表示画面の一例を示す模式図である。図５は、図４に示す状態で撮影部２１によって撮影された画像の一例を示す模式図である。なお、電子端末２のユーザとしては、例えば医師や乳幼児４の保護者等が挙げられる。

【0036】

頭部４１を撮影する場合、頭髪等も含めた形状が頭部４１の外形形状として取得されてしまうので、頭髪を頭皮に押さえつけて頭部４１の画像に対する頭髪の影響を低減するために、頭部４１にキャップ５が装着される。

【0037】

キャップ５について説明する。キャップ５は、伸縮性を有し、頭部４１を覆うことが可能なシート５０によって構成される。本実施形態では、シート５０によって覆われた状態の頭部４１の画像が撮影部２１によって撮影される。

【0038】

シート５０の素材は、例えば再生繊維であってもよく、半合成繊維であってもよく、ナイロン、ポリウレタン、ポリエステル等の合成繊維であってもよく、これら２種類以上の繊維を混ぜ合わせた繊維等であってもよい。本実施形態のシート５０は、これら何れかの素材から構成された布状の部材である。

【0039】

シート５０における頭部４１を覆う部分の表面５１には、複数の識別マーカ５２と撮影部２１で識別可能な複数の色柄５３が形成される。

【0040】

色柄５３は、色と模様の組み合わせであり、シート５０の表面５１全体に亘って形成される。シート５０の表面５１に形成される複数の色柄５３は、色と模様の組み合わせが同じものが存在してもよく、色と模様の組み合わせが同じものが存在しなくてもよい。正確な３次元モデルを生成するという点から、シート５０の表面５１に形成される全ての色柄５３のそれぞれは、その色と模様の組み合わせが互いに異なることが好ましい。本実施形態では、シート５０の表面５１に形成される全ての色柄５３がそれぞれ異なる。これにより、それぞれの色柄を正確に判別しやすくなる。

【0041】

本実施形態のキャップ５に形成される色柄５３及び背景の色は、主に白色、肌色、桃色、赤色、水色、橙色、黄緑色、緑色等である。図４では、白色は白色で示し、肌色は小さくかつ疎なドットで示し、桃色は小さくかつ密なドットで示し、赤色は大きくかつ密なドットで示し、水色は斜め左上方向に延びる実線のハッチングで示し、橙色は斜め右上方向に延びる破線のハッチングで示し、緑色は斜め右上方向に延びる実線のハッチングで示し、黄緑色は斜め格子のハッチングで示している。

【0042】

複数の識別マーカ５２は、互いに識別可能に構成され、シート５０における頭部４１を覆う部分の表面５１全体に亘って間隔を空けて形成される。識別マーカ５２としては、例えばＱＲコード（登録商標）やＡｒＵｃｏマーカ等が挙げられる。本実施形態の識別マーカ５２は、隅部を有し、その表面に電子端末２によって読み取り可能な特有のパターンが形成されるＡｒＵｃｏマーカである。本実施形態の識別マーカ５２は、平面視で四角形状である。即ち、本実施形態の識別マーカ５２は、４つの隅部を有する。複数の識別マーカ５２は、その表面に黒色と白色の模様で形成されるパターンがそれぞれ異なる。

【0043】

記憶部２２には、各識別マーカ５２間の位置関係やシート５０において各識別マーカ５２が形成される位置に関する情報が記憶されている。各識別マーカ５２間の位置関係としては、例えば各識別マーカ５２と隣接する識別マーカ５２の情報等が挙げられる。例えば、識別番号１番の識別マーカ５２は、識別番号２～５番の識別マーカ５２に隣接して囲まれているという情報等である。乳幼児４がキャップ５を装着し、頭部４１がシート５０によって覆われた状態では、各識別マーカ５２が頭部４１の位置情報を示すことになる。

【0044】

本実施形態では、５０個の識別マーカ５２がシート５０の表面５１に形成される。なお、シート５０の表面５１に形成される識別マーカ５２の数は、特に限定されず、５０個未満であってもよく、５０個以上であってもよい。

【0045】

次に、ユーザが電子端末２を用いて乳幼児４の頭部４１を撮像する場合に、表示部２５に表示される各種の情報について説明する。

【0046】

本実施形態では、図５に示すように、被写体である頭部４１の全体が画像の中心Ｃから所定の範囲（以下、第１検出領域）Ａ内に位置し、かつ、各識別マーカ５２が画像の中心から所定の範囲（以下、第２検出領域）Ｂ内に位置する複数の画像を用いて頭部４１の３次元モデルを生成する。なお、図５では、第１検出領域Ａは一点鎖線の内側の領域であり、第２検出領域Ｂは破線の内側の領域である。

【0047】

図４に示すように、表示部２５は、撮影部２１による撮影時に、撮影部２１のイメージセンサ２１３が取得したリアルタイムの映像であるライブビュー画像を表示する。表示部２５のディスプレイ２７に表示されるライブビュー画像では、撮影した場合の画像における第１検出領域Ａ内の映像のみ表示される。これにより、ユーザは、被写体である乳幼児４の頭部４１全体が第１検出領域Ａ内に収まる画像を容易に撮影できる。

【0048】

また、表示部２５は、記憶部２２への後述する識別マーカ画像の保存状況を示す保存表示２７０をディスプレイ２７に表示する。表示部２５には、保存表示２７０として、頭部４１の前側の領域における識別マーカ画像の保存状況を示す前側保存表示２７１と、頭部４１の後側の領域における識別マーカ画像の保存状況を示す後側保存表示２７２と、頭部４１の右側の領域における識別マーカ画像の保存状況を示す右側保存表示２７３と、頭部４１の左側の領域における識別マーカ画像の保存状況を示す左側保存表示２７４と、頭部４１の全領域における識別マーカ画像の保存状況を示す全体保存表示２７５と、を表示する。全体保存表示２７５では、頭部４１の３Ｄモデルが表示され、撮影して保存した識別マーカに対応する頭部４１の場所がこの３Ｄモデルに示される。これら保存表示２７０により、ユーザは、頭部４１の３次元モデルを生成するために撮影する必要がある画像を容易に把握できる。

【0049】

次に、頭部３次元モデル生成システム１の電子端末２による３次元モデル生成処理を行うための電子端末２の機能的構成について説明する。図６は、電子端末２の機能的構成の一部を示す機能ブロック図である。

【0050】

電子端末２は、主にプロセッサ２６１によって構成され、３次元モデル生成処理を実行する処理部２０を備える。処理部２０は、図６に示すように、端末側画像取得部２０１と、フィルタリング処理部２０５と、表示制御部２０６と、送信処理部２０７と、を備える。

【0051】

端末側画像取得部２０１は、取得部２０２と、画像位置判定部２０３と、識別マーカ検出部２０４と、を有する。

【0052】

取得部２０２は、撮影部２１によって撮影された頭部４１の画像を取得する処理を実行する。取得部２０２は、頭部４１の画像とともにその頭部４１の撮影時に、ユーザ又は調整機構２１２によって設定された露光時間、絞り、ＩＳＯ感度、焦点距離等の撮影部２１の各種パラメータも取得する。なお、取得部２０２は、撮影部２１によって撮影された頭部４１の動画から静止画を切り出し、その切り出した静止画を画像として取得してもよい。

【0053】

画像位置判定部２０３は、取得部２０２によって取得された画像上における乳幼児４の頭部４１全体が第１検出領域Ａ内に位置するか否かを判定する処理を実行する。画像位置判定部２０３は、例えば、教師あり学習を行うことによって構築された学習モデルを用いて画像上における頭部４１全体が第１検出領域Ａ内に位置するか否かを判定してもよい。教師あり学習は、例えば、キャップ５を装着した乳幼児４の頭部４１が撮影された画像を入力データとし、その画像において頭部４１全体が第１検出領域Ａ内に位置するか否かの評価結果をラベルとし、入力データとラベルとの多数の組を教師データとしたものであってもよい。画像位置判定部２０３は、画像上における頭部４１全体が第１検出領域Ａ内に位置していないと判定した場合、その画像を廃棄する。

【0054】

識別マーカ検出部２０４は、頭部４１全体が第１検出領域Ａ内に位置すると判定された画像上における少なくとも１つの識別マーカ５２全体が、第２検出領域Ｂ内に位置するか否かを判定する処理を実行する。例えば、識別マーカ検出部２０４は、撮影部２１によって読み取られた識別マーカ５２に関する情報に基づいて識別マーカ５２及びその識別情報を検出する。そして、識別マーカ検出部２０４は、検出した識別マーカ５２と記憶部２２に記憶された第２検出領域Ｂに関する情報との比較結果に基づいて、検出した識別マーカ５２が画像上の第２検出領域Ｂ内に位置するか否を判定する。識別マーカ検出部２０４は、検出した識別マーカ５２が画像上の第２検出領域Ｂ内に位置すると判定した場合、その画像を検出した識別マーカ５２に対応する画像（以下、識別マーカ画像という）として取得し、フィルタリング処理部２０５に転送する。識別マーカ検出部２０４は、複数の識別マーカ５２が画像の第２検出領域Ｂ内に存在する場合、中心Ｃに最も近い識別マーカ５２を特定し、その画像を特定した識別マーカ５２の識別マーカ画像として取得し、フィルタリング処理部２０５に転送する。一方で、識別マーカ検出部２０４は、検出した全ての識別マーカ５２が画像上の第２検出領域Ｂ内に位置していないと判定した場合、その画像を廃棄する。

【0055】

フィルタリング処理部２０５は、端末側画像取得部２０１によって取得された識別マーカ画像が所定の条件を満たす適合画像であるか否かを判定するフィルタリング処理を実行する。本実施形態では、フィルタリング処理部２０５は、端末側画像取得部２０１から転送された識別マーカ画像と同じ識別マーカ５２の識別マーカ画像が記憶部２２に保存されていない場合、フィルタリング処理を実行する。一方で、フィルタリング処理部２０５は、端末側画像取得部２０１から転送された識別マーカ画像と同じ識別マーカ５２の識別マーカ画像が記憶部２２に保存されている場合、その転送された画像を廃棄する。

【0056】

フィルタリング処理について説明する。フィルタリング処理における所定の条件とは、正確な３次元モデルを生成するという観点から見た画像の品質基準である。本実施形態では、画像の品質基準として、画像のボケの程度に関する条件と、撮影部２１による頭部４１の撮影時における撮影部２１と頭部４１との間の距離に関する条件と、撮影部２１による頭部４１の撮影時における頭部４１に対する撮影部２１の向きに関する条件との３つの条件を含む。本実施形態のフィルタリング処理部２０５は、上記３つの画像の品質基準を全て満たした場合に、識別マーカ画像を適合画像であると判定する。なお、フィルタリング処理のうち画像のボケの程度に関する品質基準を判定する処理をボケ判定処理といい、頭部４１に対する撮影部２１の角度に関する品質基準を判定する処理を角度判定処理といい、撮影部２１と頭部４１との間の距離に関する品質基準を判定する処理を距離判定処理という。

【0057】

まず、ボケ判定処理について図７Ａ～図９Ｂを参照しながら説明する。頭部４１を撮像する瞬間に、乳幼児４が頭部４１を動かすと、被写体である頭部４１の焦点がズレ、ピントが合っていない画像が撮像されてしまうことが多い。このようなピントが合っていない画像から頭部４１の正確な外形形状のデータを取得することは困難になる。ボケ判定処理は、ボケの程度が３次元モデルの生成において許容できる範囲内である画像のみを選択するために実行される。

【0058】

ボケ判定処理では、画像をフーリエ変換して得られた変換データの空間周波数の平均値に基づいて、画像のボケの程度を特定する。具体的には、ボケ判定処理では、以下の（ａ）～（ｄ）の処理がこの順で実行される。
（ａ）端末側画像取得部２０１によって取得された識別マーカ画像をフーリエ変換して変換データを取得する。変換データは、例えば、識別マーカ画像に対して水平方向にフーリエ変換した後に、垂直方向にフーリエ変換する２次元フーリエ変換を行うことで得られる。
（ｂ）（ａ）で取得した変換データに対して、低空間周波数成分、即ち所定の空間周波数未満の空間周波数成分を除く処理を実行する。例えば、（ｂ）の処理は、（ａ）で取得した変換データを画像の中心ほど空間周波数が低い空間周波数成分が位置するように並び替え、その並び替えた変換データの画像の中心から所定の範囲の領域（以下、マスキング領域という）Ｅにおける空間周波数成分を除く処理であってもよい。
（ｃ）（ｂ）で低空間周波数成分を除外した変換データの空間周波数の平均値を算出する。
（ｄ）（ｃ）で算出した空間周波数の平均値が所定の閾値（以下、ボケ判定値）以上であるか否かを判定する。

【0059】

フィルタリング処理部２０５は、上記（ｄ）で空間周波数の平均値がボケ判定値以上であると判定した場合に角度判定処理に移行し、空間周波数の平均値がボケ判定値未満であると判定した場合にフィルタリング処理を中止し、判定対象であった識別マーカ画像を廃棄する。

【0060】

空間周波数と画像のボケの関係について図７Ａ～図９Ｂを参照しながら説明する。図７Ａは被写体が静止した状態であり、ピントが合っている画像を示す図であり、図８Ａは被写体が静止した状態であるが、ピントが合っていない画像を示す図であり、図９Ａは被写体が動いている状態で撮影された画像を示す図である。図７Ｂは図７Ａに示す画像をフーリエ変換して得られた変換データを示す図であり、図８Ｂは８Ａに示す画像をフーリエ変換して得られた変換データを示す図であり、図９Ｂは図９Ａに示す画像をフーリエ変換して得られた変換データを示す図である。具体的には、図７Ｂ、図８Ｂ及び図９Ｂは、図７Ａ、図８Ａ及び図９Ａのそれぞれの画像に対して、上記（ａ）で述べた２次元フーリエ変換を行い、得られた変換データを画像の中心ほど空間周波数が低い空間周波数成分が位置するように並び替えた変換データの画像である。なお、図７Ｂ、図８Ｂ及び図９Ｂでは、白色が濃い部分である程、空間周波数が低いことを示し、黒色が濃い部分である程、空間周波数が高いことを示している。また、図７Ｂ、図８Ｂ及び図９Ｂに示す破線の円から内側は、（ｂ）で変換データから除かれたマスキング領域Ｅを示している。

【0061】

図７Ｂ、図８Ｂ、及び図９Ｂを比較すると、フーリエ変換した変換データにおける空間周波数が低いマスキング領域Ｅでは、３つの変換データ間で差異が少ない傾向にある。一方で、変換データにおけるマスキング領域Ｅ以外の領域は、静止した状態でありピントが合っている画像の変換データを示す図７Ｂの方が、図８Ｂ及び図９Ｂと比較すると、空間周波数が高い領域が多く存在していることが確認できる。そこで、ボケ判定処理では、ピントが合っている画像と撮影時の頭部４１の動き等によってピントが合っていない画像との空間周波数の差異をより明確に把握できるように、空間周波数が低いマスキング領域Ｅのデータを除去した上で、変換データの空間周波数を比較している。これにより、画像のボケの程度をより正確に判定することができる。

【0062】

次に、角度判定処理及び距離判定処理について図１０及び図１１を参照しながら説明する。図１０は、頭部４１と撮影部２１との距離及び角度に関する条件についての説明図である。図１１は、頭部４１と撮影部２１との距離に関する条件に付いての説明図である。

【0063】

図１０において破線で示す電子端末２は、識別マーカ５２におけるパターンが形成される表面に対して、撮影部２１のレンズ２１１が対向する実線で示す電子端末２に比べて、識別マーカ５２に対するレンズ２１１の角度が大きくずれている。このような状態で頭部４１を撮影した画像では、頭部４１の正確な外形形状のデータを取得することが困難となる。また、頭部４１と撮影部２１のレンズ２１１との間の距離Ｌが近すぎる場合や遠すぎる場合も、画像から頭部４１の正確な外形形状のデータを取得することが困難となる。頭部４１に対する撮影部２１の角度や距離が３次元モデルの生成において許容できる範囲内である画像のみを選択するために、角度判定処理及び距離判定処理が実行される。

【0064】

角度判定処理では、以下の（ｅ）～（ｈ）の処理がこの順で実行される。
（ｅ）識別マーカ５２の向きを把握するために、識別マーカ５２の隅部の位置情報から画像上における識別マーカ５２の位置を示す位置情報ｕを特定する。
（ｆ）（ｅ）で特定した識別マーカ５２の位置情報、撮影部２１に設定されている焦点距離及びイメージセンサ２１３のサイズ等を含むパラメータ情報Ｋと予め設定した３次元空間座標Ｘを用いて、以下の式（１）により以下式（２）で示す透視変換行列Ｒｔを算出する。
ｕ＝Ｋ×Ｒｔ×Ｘ・・・式（１）

【0065】

【数1】

【0066】

（ｇ）（ｆ）で算出した透視変換行列Ｒｔから識別マーカ５２の向きを頭部４１に対する撮影部２１の向きとして推定する。具体的には、透視変換行列Ｒｔからオブジェクトの回転に関連する部分であり、以下式（３）で示す回転行列Ｒを抽出し、その回転行列Ｒをオイラー角に変換する。

【0067】

【数2】

（ｈ）（ｇ）で得たオイラー角のψ、θ、φのそれぞれがそれぞれに設定された所定の閾値（以下、角度判定値）の範囲内であるか否かを判定する。

【0068】

フィルタリング処理部２０５は、上記（ｈ）で得たオイラー角ψ、θ、φの全てが角度判定値の範囲内であると判定した場合に距離判定処理に移行し、オイラー角ψ、θ、φの少なくとも何れかが角度判定値の範囲外であると判定した場合にフィルタリング処理を中止し、判定対象であった識別マーカ画像を廃棄する。

【0069】

距離判定処理では、上記（ｅ）、（ｆ）の処理と以下の（ｉ）～（ｋ）の処理がこの順で実行される。数（１）
（ｉ）（ｆ）で算出した透視変換行列Ｒｔの並進ベクトルｔの成分、即ち以下式（４）で示す成分のノルムを以下の式（５）を用いて計算する。この計算結果は、撮影部２１のレンズ２１１と識別マーカ５２との間の実際の距離Ｌを意味する。

【0070】

【数3】

【数4】

【0071】

（ｊ）（ｉ）で算出した距離Ｌが所定の閾値（以下、距離判定値）の範囲内であるか否かを判定する。なお、図１１では、距離判定値の下限値としての距離Ｌ２と上限値としての距離Ｌ１の例を示している。

【0072】

フィルタリング処理部２０５は、上記（ｋ）で算出した距離Ｌが距離判定値の範囲内であると判定した場合に、判定対象であった識別マーカ画像が品質基準を満たす適合画像であると判定し、その識別マーカ画像を適合画像として記憶部２２に保存する。一方で、距離Ｌが距離判定値の範囲外であると判定した場合は、判定対象であった識別マーカ画像を廃棄する。

【0073】

表示制御部２０６は、適合画像の記憶部２２への保存状況に応じて、表示部２５の表示を制御する処理を実行する。表示制御部２０６は、例えば、新たな識別マーカ５２の識別マーカ画像が適合画像として記憶部２２に保存された場合、適合画像の保存状況を反映したものに保存表示２７０を変更する。また表示制御部２０６は、予め定められた全ての識別マーカ５２の識別マーカ画像が適合画像として記憶部２２に記憶された場合に、ユーザにその旨を通知する表示を表示部２５に表示してもよい。

【0074】

送信処理部２０７は、記憶部２２に保存された頭部４１の複数の適合画像をサーバ３に送信する処理を実行する。送信処理部２０７は、記憶部２２に適合画像として記憶され、予め定められた全ての識別マーカ５２の識別マーカ画像をサーバ３に送信する。例えば、送信処理部２０７は、全ての識別マーカ５２の識別マーカ画像が記憶部２２に記憶された場合に、それら全ての識別マーカ５２の識別マーカ画像をサーバ３に自動で送信してもよい。例えば、送信処理部２０７は、ユーザが入力部２４を介して記憶部２２内の適合画像をサーバ３に送信する操作を行った場合に、そのユーザ操作に基づいて全ての識別マーカ５２に対応する画像をサーバ３に送信してもよい。

【0075】

なお、予め定められた全ての識別マーカ５２とは、例えば、シート５０における頭部４１を覆う部分の表面５１全体に亘って形成された全ての識別マーカ５２であってもよい。

【0076】

画像の撮影、取得、フィルタリング処理、保存等の一連の処理が、１つの電子端末２で行われるので、例えば、画像の撮影と適合画像であるか否かの判定結果を得るまでのタイムラグが小さくなり、３次元モデルの作成に必要な多数の画像をスムーズに取得することができる。

【0077】

次に、頭部３次元モデル生成システム１のサーバ３による３次元モデル生成処理を行うためのサーバ３の機能的構成について説明する。図１２は、サーバ３の機能的構成の一部を示す機能ブロック図である。

【0078】

サーバ３は、主にプロセッサ３３１によって構成され、３次元モデル生成処理を実行する処理部３０を備える。処理部３０は、図１２に示すように、サーバ側画像取得部３０１と、背景処理部（背景除去部）３０２と、３次元モデル生成部３０３と、送信処理部３０４と、を備える。

【0079】

サーバ側画像取得部３０１は、通信部３２を介して電子端末２から予め定められた全ての識別マーカ５２の適合画像を取得する処理を実行する。

【0080】

背景処理部３０２は、サーバ側画像取得部３０１によって取得された複数の適合画像のそれぞれに対して背景除去処理を実行する。背景除去処理は、適合画像上における乳幼児４の頭部４１を含む検出対象画像以外の情報を除去する処理である。検出対象画像としては、例えば乳幼児４の頭部４１のみを含む画像であってもよく、顔から上の部分を含む画像であってもよく、乳幼児４の首から上の部分を含む画像でもよく、乳幼児４全体を含む画像であってもよい。例えば、背景処理部３０２は、機械学習等によって画像上の検出対象画像を検出する学習モデルを構築し、構築した学習モデルを用いて適合画像上の検出対象画像を検出し、検出した検出対象画像以外の情報を除去することで背景除去処理を実行してもよい。例えば、Pythonライブラリである”Rembg”や”Detectron 2”等のプログラムを利用して背景除去処理を行ってもよい。これにより、３次元モデルの生成に必要な検出対象画像以外の情報が画像から除去されるので、生成時に用いる特徴量を絞ることができ、各画像間での頭部４１の重複する特徴点をより正確に検出できる。

【0081】

３次元モデル生成部３０３は、複数の適合画像に基づいて、頭部４１の３次元モデルを生成する処理を実行する。本実施形態では、３次元モデル生成部３０３は、背景処理部３０２によって検出対象画像以外の情報が除去された複数の適合画像に基づいて、フォトグラメトリ技術を利用して頭部４１の３次元モデルを生成する。具体的には、３次元モデル生成部３０３は、各識別マーカ５２に対応する画像間で重複する特徴点を検出し、３次元的に重ね合わせていくことで３次元モデルを生成する。このとき、３次元モデル生成部３０３は、識別マーカ５２が示す頭部４１における位置情報とシート５０の表面５１の色柄５３とに基づいて、頭部４１の３次元モデルを生成する。識別マーカ５２が示す位置情報を用いることで、各画像が頭部４１におけるどの部分の画像であるかが把握しやすくなる。また、色柄５３が同じ箇所が存在しないので、頭部４１の部位に応じて特徴量の差異がより明確になり、各画像間での重複する特徴点のより正確な検出が可能となる。よって、より正確な頭部４１の３次元モデルの生成が可能となる。

【0082】

送信処理部３０４は、３次元モデル生成部３０３によって生成された３次元モデルを電子端末２や他の装置に送信する処理を実行する。３次元モデルを受信した電子端末２等の装置のユーザは、生成された頭部４１の３次元モデルをディスプレイ２７等に表示することで確認できる。

【0083】

次に、頭部３次元モデル生成システム１の電子端末２の処理部２０が実行する３次元モデル生成処理の流れの一例について図１３を参照しながら説明する。図１３は、電子端末２によって実行される３次元モデル生成処理の一例を示すフローチャートである。

【0084】

図１３に示すように、ステップＳ１１において、処理部２０の取得部２０２は、撮影部２１によって撮影された画像を取得する。このとき、取得部２０２は、画像とともにその画像の撮影時に撮影部２１に設定されている焦点距離及びイメージセンサのサイズ等を含むパラメータ情報も取得する。

【0085】

ステップＳ１２において、画像位置判定部２０３は、ステップＳ１１で取得した画像上の頭部４１全体が第１検出領域Ａ内に位置するか否かを判定する。画像位置判定部２０３は、頭部４１全体が第１検出領域Ａ内に位置しないと判定した場合（ステップＳ１２でＮＯ）、処理をステップＳ１１に戻す。一方で、画像位置判定部２０３は、頭部４１全体が第１検出領域Ａ内に位置すると判定した場合（ステップＳ１２でＹＥＳ）、処理をステップＳ１３に移行する。

【0086】

ステップＳ１３において、識別マーカ検出部２０４は、ステップＳ１２で頭部４１全体が第１検出領域Ａ内に位置すると判定された画像上の識別マーカ５２を検出する。このとき、識別マーカ検出部２０４は、検出した識別マーカ５２の識別情報も取得する。

【0087】

ステップＳ１４において、識別マーカ検出部２０４は、ステップＳ１３で検出した少なくとも１つの識別マーカ５２が第２検出領域Ｂ内に位置するか否かを判定する。識別マーカ検出部２０４は、検出した識別マーカ５２が第２検出領域Ｂ内に位置しないと判定した場合（ステップＳ１４でＮＯ）、処理をステップＳ１１に戻す。一方で、識別マーカ検出部２０４は、検出した識別マーカ５２が第２検出領域Ｂ内に位置すると判定した場合（ステップＳ１４でＹＥＳ）、処理をステップＳ１５に移行する。このとき、識別マーカ検出部２０４は、第２検出領域Ｂ内の識別マーカ５２のうち画像の中心Ｃに最も近い識別マーカ５２を特定する。

【0088】

ステップＳ１５において、フィルタリング処理部２０５は、ステップＳ１４で特定された識別マーカ５２が画像の最も中心に位置する適合画像が記憶部２２に保存されているか否かを判定する。フィルタリング処理部２０５は、識別マーカ５２が画像の最も中心に位置する適合画像が記憶部２２に保存済みであると判定した場合（ステップＳ１５でＹＥＳ）、処理をステップＳ１１に戻す。一方で、フィルタリング処理部２０５は、識別マーカ５２が画像の最も中心に位置する適合画像が記憶部２２に保存されていないと判定した場合（ステップＳ１５でＮＯ）、処理をステップＳ１６に移行する。

【0089】

ステップＳ１６において、フィルタリング処理部２０５は、ステップＳ１４で特定された識別マーカ５２に対応する画像に対するボケ判定処理を実行する。具体的には、フィルタリング処理部２０５は、画像をフーリエ変換して変換データを取得し、取得した変換データから低空間周波数成分を除外した変換データの空間周波数の平均値を算出する。

【0090】

ステップＳ１７において、フィルタリング処理部２０５は、ステップＳ１６で平均値がボケ判定値未満であると判定した場合（ステップＳ１７でＮＯ）、処理をステップＳ１１に戻す。一方で、フィルタリング処理部２０５は、ステップＳ１６で平均値がボケ判定値以上であると判定した場合（ステップＳ１７でＹＥＳ）、画像のボケの程度は許容範囲内であると判定し、処理をステップＳ１８に移行する。

【0091】

ステップＳ１８において、フィルタリング処理部２０５は、ステップＳ１７でボケの程度が許容範囲内（ボケ判定値以上）であると判定された画像に対する角度判定処理を実行する。具体的には、フィルタリング処理部２０５は、識別マーカ５２の隅部の位置を検出し、検出した隅部の位置に基づいて画像上の識別マーカ５２の位置情報を特定し、ステップＳ１１で取得した撮影部２１に設定されていた焦点距離及びイメージセンサ２１３のサイズ等のパラメータ情報に用いて透視変換行列を算出する。そして、算出した透視変換行列から回転行列を抽出してオイラー角に変換し、得られたオイラー角のψ、θ、φのそれぞれが角度判定値の範囲内であるか否かを判定する。

【0092】

ステップＳ１９において、フィルタリング処理部２０５は、ステップＳ１８でオイラー角のψ、θ、φの少なくともいずれかが角度判定値の範囲外であると判定した場合（ステップＳ１９でＮＯ）、処理をステップＳ１１に戻す。一方で、フィルタリング処理部２０５は、ステップＳ１８でオイラー角のψ、θ、φの全てが角度判定値の範囲内であると判定した場合（ステップＳ１９でＹＥＳ）、撮影時における識別マーカ５２に対する撮影部２１の角度は許容範囲内であると判定し、処理をステップＳ２０に移行する。

【0093】

ステップＳ２０において、フィルタリング処理部２０５は、ステップＳ１９で角度が許容範囲内であると判定された画像に対する距離判定処理を実行する。具体的には、フィルタリング処理部２０５は、ステップＳ１８で算出した透視変換行列から並進ベクトルの成分のノルムを上述した式（５）を用いて撮影時における撮影部２１と識別マーカ５２の実際の距離Ｌを算出する。そして、算出した距離Ｌが距離判定値の範囲内であるか否かを判定する。

【0094】

ステップＳ２１において、フィルタリング処理部２０５は、ステップＳ２０で距離Ｌが距離判定値の範囲外であると判定した場合（ステップＳ２１でＮＯ）、処理をステップＳ１１に戻す。一方で、フィルタリング処理部２０５は、ステップＳ２０で距離Ｌが距離判定値の範囲内であると判定した場合（ステップＳ２１でＹＥＳ）、撮影時の識別マーカ５２と撮影部２１との間の距離Ｌは許容範囲内であると判定し、処理をステップＳ２２に移行する。

【0095】

ステップＳ２２において、フィルタリング処理部２０５は、ステップＳ２１で距離Ｌが許容範囲内であると判定された画像を適合画像であると判定し、記憶部２２に保存する。

【0096】

ステップＳ２３において、表示制御部２０６は、表示部２５を制御して識別マーカ画像の保存状況を示す表示に、新たな識別マーカ５２に対する画像が適合画像として保存されたことを反映させる。

【0097】

ステップＳ２４において、送信処理部２０７は、予め定められた全ての識別マーカ５２の識別マーカ画像が適合画像として記憶部２２に保存されているか否かを判定する。送信処理部２０７は、全ての識別マーカ５２の識別マーカ画像が適合画像として保存されていないと判定した場合（ステップＳ２４でＮＯ）、処理をステップＳ１１に戻す。一方で、送信処理部２０７は、全ての識別マーカ５２の識別マーカ画像が適合画像として保存されていると判定した場合（ステップＳ２４でＹＥＳ）、処理をステップＳ２５に移行する。

【0098】

ステップＳ２５において、送信処理部２０７は、記憶部２２に記憶されており、今回の３次元モデルの生成対象である頭部４１の適合画像の全てをサーバ３に送信する。その後、処理部２０における３次元モデル生成処理を終了する。

【0099】

次に、頭部３次元モデル生成システム１のサーバ３が実行する３次元モデル生成処理の流れの一例について図１４を参照しながら説明する。図１４は、サーバ３によって実行される３次元モデル生成処理の一例を示すフローチャートである。

【0100】

図１４に示すように、ステップＳ３１において、処理部３０のサーバ側画像取得部３０１は、ステップＳ２５で送信された全ての適合画像を取得する。

【0101】

ステップＳ３２において、背景処理部３０２は、ステップＳ２５で取得した全ての適合画像のそれぞれに対して背景除去処理を実行する。この結果、適合画像上における検出対象画像以外の情報が除去される。

【0102】

ステップＳ３３において、３次元モデル生成部３０３は、ステップＳ３２で背景除去処理が施された適合画像に基づいて、フォトグラメトリ技術を使用した頭部４１の３次元モデルを生成する処理を実行する。

【0103】

ステップＳ３４において、３次元モデル生成部３０３は、ステップＳ３３で生成された３次元モデルを保存する。その後、処理部３０は３次元モデル生成処理を終了する。

【0104】

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に制限されるものではなく適宜変更が可能である。

【0105】

上記実施形態では、頭部４１の撮影時に、識別マーカ５２及び色柄５３がシート５０の表面５１に形成されたキャップ５を用いていたが、識別マーカ５２及び色柄５３がシート５０の表面５１に形成されていないキャップ５を用いてもよく、識別マーカ５２が形成され、色柄５３の無いキャップ５を用いてもよく、色柄５３が形成され、識別マーカ５２が形成されていないキャップ５を用いてもよい。また、キャップ５には、識別マーカ５２の代わりに識別機能を有しておらず、単に平面視で四角形状のマーカが形成されてもよい。

【0106】

上記実施形態では、フィルタリング処理部２０５は、フィルタリング処理としてボケ判定処理と、角度判定処理と、距離判定処理とを実行していたが、３つの処理の全てを行わず、３つの処理のうちいずれか１つ又は２つの処理を行ってもよい。即ち、複数種類のフィルタリング処理を行って適合画像を抽出し、抽出した複数の適合画像に基づいて３次元モデルを生成してもよい。これにより、より正確な頭部４１の３次元モデルを生成することができる。

【0107】

上記実施形態では、フィルタリング処理部２０５は、ボケ判定処理、角度判定処理、距離判定処理をこの順で行っていたが、処理を行う順序は特に限定されない。例えば、ボケ判定処理、距離判定処理、角度判定処理の順でフィルタリング処理を行ってもよく、距離判定処理、ボケ判定処理、角度判定処理の順でフィルタリング処理を行ってもよく、距離判定処理、角度判定処理、ボケ判定処理の順でフィルタリング処理を行ってもよく、角度判定処理、距離判定処理、ボケ判定処理の順でフィルタリング処理を行ってもよく、角度判定処理、ボケ判定処理、距離判定処理の順でフィルタリング処理を行ってもよい。

【0108】

上記実施形態では、サーバ３は背景処理部３０２を有していたが、背景処理部３０２を具備しない構成であり、３次元モデル生成処理において背景除去処理を行わなくてもよい。またサーバ３の代わりに電子端末２が背景処理部３０２を有しており、電子端末２側で背景除去処理を施した適合画像をサーバ３に送信してもよい。

【0109】

上記実施形態では。電子端末２がフィルタリング処理部２０５を有していたが、サーバ３がフィルタリング処理部２０５を有していてもよい。

【0110】

上記実施形態では、端末側画像取得部２０１は、取得部２０２と画像位置判定部２０３と識別マーカ検出部２０４とを有していたが、画像位置判定部２０３及び識別マーカ検出部２０４の少なくともいずれかを具備しない構成であってもよい。

【0111】

また例えば、識別マーカ検出部２０４は、教師あり学習を行うことによって構築された学習モデルを用いて画像上において少なくとも１つの識別マーカ５２全体が第２検出領域Ｂ内に位置するか否かを判定してもよい。この場合、教師あり学習は、例えば頭部４１を覆うシート５０の表面５１に形成された識別マーカ５２が被写体として含まれる画像を入力データとし、その画像において少なくとも１つの識別マーカ５２全体が第２検出領域Ｂ内に位置するか否かの評価結果をラベルとし、入力データとラベルとの多数の組を教師データとしたものであってもよい。

【0112】

また上記実施形態では、フィルタリング処理部２０５は、端末側画像取得部２０１から転送された識別マーカ画像と同じ識別マーカ５２の識別マーカ画像が記憶部２２に保存されている場合、その転送された画像を廃棄していたが、その転送された画像を廃棄せずに、記憶部２２のバックアップ用の記憶領域にバックアップ用として保存してもよい。

【0113】

以上説明した実施形態及び変形例によれば、以下のような効果を奏される。

【0114】

（１）頭部３次元モデル生成システム１は、乳幼児４の頭部４１を撮影する撮影部２１と、該撮影部２１によって撮影された頭部４１の画像を処理する処理部２０と、を有する電子端末２と、電子端末２と通信可能なサーバ３と、を備える頭部３次元モデル生成システム１であって、電子端末２の処理部２０は、撮影部２１によってそれぞれ異なる方向から撮影された頭部４１の複数の画像を取得する端末側画像取得部２０１と、端末側画像取得部２０１によって取得された画像が所定の条件を満たす適合画像であるか否かを判定するフィルタリング処理部２０５と、を有し、サーバ３は、フィルタリング処理部２０５によって所定の条件を満たすと判定された複数の適合画像に基づいて、頭部４１の立体的な外形形状を示す３次元モデルを生成する３次元モデル生成部３０３と、を有する。

【0115】

これにより、静止させた状態を保つことが難しい乳幼児４の頭部４１の３次元モデルを生成する場合であっても、所定の条件を満たす画像のみを用いて頭部の３次元モデルを生成するので、正確な頭部の３次元モデルを生成することができる。

【0116】

（２）（１）に記載の頭部３次元モデル生成システム１において、所定の条件は、画像のボケの程度に関する条件を含む。

【0117】

これにより、例えば、撮影する瞬間に乳幼児４が動き、頭部４１の画像にボケが生じやすい状況であっても、ボケの程度に応じて３次元モデルの生成に使用する画像を取捨選択するので、より正確な頭部４１の３次元モデルを生成できる。

【0118】

（３）（２）に記載の頭部３次元モデル生成システム１において、フィルタリング処理部２０５は、端末側画像取得部２０１によって取得された画像をフーリエ変換して変換データを取得し、変換された変換データにおける低空間周波数成分を除外した空間周波数の平均値に基づいて、画像のボケの程度を特定する。

【0119】

これにより、フーリエ変換を行うとともに、得られた変換データにおいて画像間の差異が確認し難い低周波数側の空間周波数成分を除いた部分のみの空間周波数成分を用いるので、ボケの程度をより正確に特定できる。

【0120】

（４）（１）に記載の頭部３次元モデル生成システム１において、所定の条件は、撮影部２１による頭部４１の撮影時における撮影部２１と頭部４１との間の距離Ｌに関する条件を含む。

【0121】

これにより、撮影時に静止した状態を保つことが難しい乳幼児４を様々な方向から撮影するような一定の条件で撮影することが難しい状況であっても、撮影部２１と頭部４１との間の距離を考慮して３次元モデルの生成に使用する画像を取捨選択するので、より正確な頭部４１の３次元モデルを生成できる。

【0122】

（５）（４）に記載の頭部３次元モデル生成システム１において、撮影部２１は、シートによって覆われた状態の頭部４１を撮影し、シート５０における頭部４１を覆う部分の表面には、複数のマーカが間隔を空けて形成され、端末側画像取得部２０１は、マーカが中心Ｃから所定の範囲である第２検出領域Ｂ内に位置する画像をマーカに対応する画像として取得し、フィルタリング処理部２０５は、マーカに対応する画像上でのマーカの位置を示す位置情報と、撮影部２１に設定されている焦点距離及びイメージセンサのサイズを含むパラメータ情報と、に基づいて、撮影部２１とマーカとの間の距離を特定する。

【0123】

これにより、撮影した画像の中心Ｃ側に位置するマーカを基準に距離を算出するので、撮影部２１と頭部４１との距離をより正確に特定できる。

【0124】

（６）（１）に記載の頭部３次元モデル生成システム１において、所定の条件は、撮影部２１による頭部４１の撮影時における頭部４１に対する撮影部２１の向きに関する条件を含む。

【0125】

これにより、撮影時に静止した状態を保つことが難しい乳幼児４を様々な方向から撮影するような一定の条件から撮影することが難しい状況であっても、撮影部２１と頭部４１との間の角度を考慮して３次元モデルの生成に使用する画像を取捨選択するので、より正確な頭部４１の３次元モデルを生成できる。

【0126】

（７）（１）に記載の頭部３次元モデル生成システム１において、撮影部２１は、シート５０によって覆われた状態の頭部４１を撮影し、シート５０における頭部４１を覆う部分の表面には、複数のマーカが間隔を空けて形成され、端末側画像取得部２０１は、マーカが中心から所定の範囲である第２検出領域Ｂ内に位置する画像をマーカに対応する画像として取得し、フィルタリング処理部２０５は、マーカに対応する画像上でのマーカの位置を示す位置情報と、撮影部２１に設定されている焦点距離及びイメージセンサのサイズを含むパラメータ情報と、に基づいて、頭部４１に対する撮影部２１の向きを特定する。

【0127】

これにより、撮影した画像の中心Ｃ側に位置するマーカの情報から角度を推定するので、頭部４１に対する撮影部２１の角度をより正確に特定できる。

【0128】

（８）（１）～（７）のいずれか１つに記載の頭部３次元モデル生成システム１において、撮影部２１は、シート５０によって覆われた状態の頭部４１を撮影し、シート５０における頭部４１を覆う部分の表面には、頭部４１における位置情報と関連付けられた複数の識別マーカ５２が間隔を空けて形成されるとともに、複数の色柄５３が形成され、端末側画像取得部２０１は、識別マーカ５２が中心Ｃから所定の範囲である第２検出領域Ｂ内に位置する画像を識別マーカ５２に対応する画像として取得し、フィルタリング処理部２０５は、端末側画像取得部２０１によって取得された識別マーカ５２に対応する画像が適合画像であるか否かを判定し、３次元モデル生成部３０３は、予め定められた全ての識別マーカ５２に対応する画像の適合画像の識別マーカ５２と関連付けられた位置情報と色柄５３とに基づいて、３次元モデルを生成する。

【0129】

これにより、識別マーカ５２に関連付けられた頭部４１の位置情報と色柄５３の情報とを３次元モデルの生成に利用するので、複数の適合画像それぞれの位置関係をより正確に判別しやすくなり、より正確な頭部４１の３次元モデルを生成できる。

【0130】

（９）（８）に記載の頭部３次元モデル生成システム１において、シート５０の表面５１に形成される全ての色柄５３は、それぞれ異なる。

【0131】

これにより、頭部４１を覆うシート５０の表面５１において色柄５３が同じ箇所が存在しないので、頭部４１の部位に応じて特徴量の差異がより明確になり、取得された画像が頭部４１のうちどの部位のものであるかより正確に判別しやすくなり、より正確な頭部４１の３次元モデルを生成できる。

【0132】

（１０）（１）～（９）のいずれか１つに記載の頭部３次元モデル生成システム１において、所定の条件は、撮影部２１による頭部４１の撮影時における撮影部２１と頭部４１との間の距離に関する条件と、撮影部２１による頭部４１の撮影時における頭部４１に対する撮影部２１の向きに関する条件と、を含む。

【0133】

これにより、撮影時に静止した状態を保つことが難しい乳幼児４を様々な方向から撮影するような一定の条件で撮影することが難しい状況であっても、撮影部２１と頭部４１との間の距離と角度を考慮して３次元モデルの生成に使用する画像を取捨選択するので、より正確な頭部４１の３次元モデルを生成できる。

【0134】

（１１）（１）～（１０）のいずれか１つに記載の頭部３次元モデル生成システム１において、所定の条件は、画像のボケの程度に関する条件を更に含む。

【0135】

これにより、ボケの程度に応じてさらに３次元モデルの生成に用いる画像を取捨選択するので、より正確な頭部の３次元モデルを生成できる。

【0136】

（１２）（１）～（１１）のいずれか１つに記載の頭部３次元モデル生成システム１において、フィルタリング処理部２０５は、端末側画像取得部２０１によって取得された画像がボケの程度に関する条件を満たすか否かを判定した後に、ボケの程度に関する条件を満たすと判定された画像が撮影部２１による頭部４１の撮影時における撮影部２１と頭部４１との間の距離に関する条件と、撮影部２１による頭部４１の撮影時における頭部４１に対する撮影部２１の向きに関する条件と、を満たすか否かを判定する。

【0137】

これにより、ボケの程度に応じて画像を選択した後に、距離と角度について判定するので、鮮明な画像で距離と角度を判定するので、より正確な距離と角度を特定できる。よって、より正確に距離と角度の判定を行うことができ、より正確な頭部４１の３次元モデルを生成できる。

【0138】

（１３）（１）～（１２）のいずれか１つに記載の頭部３次元モデル生成システム１において、サーバ３は、適合画像上の乳幼児４の頭部４１を含む検出対象画像を検出し、適合画像上における検出対象画像以外の情報を除去する背景処理部３０２を更に有し、３次元モデル生成部３０３は、背景処理部３０２によって検出対象画像以外の情報が除去された複数の適合画像に基づいて、頭部４１の立体的な外形形状を示す３次元モデルを生成する。

【0139】

これにより、乳幼児４の頭部４１を含む検出対象画像の情報のみ抽出された適合画像を用いるので、頭部４１の３次元モデルの生成に必要な特徴量を絞り込むことができ、より正確な頭部４１の３次元モデルを生成できる。

【0140】

（１４）プログラムは、それぞれ異なる方向から撮影された乳幼児４の頭部４１の複数の画像を取得する画像取得工程と、画像取得工程で取得された画像が所定の条件を満たす適合画像であるか否かを判定するフィルタリング処理工程と、フィルタリング処理工程で所定の条件を満たすと判定された複数の適合画像に基づいて、頭部の立体的な外形形状を示す３次元モデルを生成する３次元モデル生成工程と、コンピュータに実行させる。

【0141】

（１５）プログラムは、乳幼児４の頭部４１の複数の画像に基づいて、頭部４１の立体的な外形形状を示す３次元モデルを生成するサーバ３とともに、３次元モデルを生成するための３次元モデル生成処理をコンピュータに実行させるプログラムであって、３次元モデル生成処理は、それぞれ異なる方向から撮影された乳幼児の頭部の複数の画像を取得する画像取得工程と、画像取得工程で取得された画像が所定の条件を満たす適合画像であるか否かを判定するフィルタリング処理工程と、フィルタリング処理工程で所定の条件を満たすと判定された複数の適合画像をサーバ３に送信する送信工程と、を含む。

【0142】

（１６）３次元モデル生成方法は、コンピュータが実行する方法であって、それぞれ異なる方向から撮影された乳幼児４の頭部４１の複数の画像を取得する画像取得工程と、画像取得工程で取得された画像が所定の条件を満たす適合画像であるか否かを判定するフィルタリング処理工程と、フィルタリング処理工程で所定の条件を満たすと判定された複数の適合画像に基づいて、頭部４１の立体的な外形形状を示す３次元モデルを生成する３次元モデル生成工程と、を含む。

【符号の説明】

【0143】

１ 頭部３次元モデル生成システム
２ 電子端末
３ サーバ
４ 乳幼児（対象者）
２０ 処理部
２１ 撮影部
４１ 頭部
２０１ 画像取得部（端末側画像取得部）
２０５ フィルタリング処理部
３０３ ３次元モデル生成部

【要約】

【課題】静止させた状態を保つことが難しい対象者の頭部の３次元モデルを生成する場合であっても、正確な３次元モデルを生成できる頭部３次元モデル生成システム、プログラム及び頭部３次元モデル生成方法を提供すること。
【解決手段】頭部３次元モデル生成システム１は、頭部４１を撮影する撮影部２１と、撮影された頭部４１の画像を処理する処理部２０と、を有する電子端末２と、サーバ３と、を備え、電子端末２の処理部２０は、撮影部２１によってそれぞれ異なる方向から撮影された頭部４１の複数の画像を取得する端末側画像取得部２０１と、端末側画像取得部２０１によって取得された画像が所定の条件を満たす適合画像であるか否かを判定するフィルタリング処理部２０５と、を有し、サーバ３は、複数の適合画像に基づいて、頭部４１の立体的な外形形状を示す３次元モデルを生成する３次元モデル生成部３０３と、を有する。
【選択図】図６

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図9A】

【図9B】

【図10】

【図11】

【図12】

【図13】

【図14】