(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025010111
(43)【公開日】2025-01-20
(54)【発明の名称】情報処理装置、プログラム、及び情報処理方法
(51)【国際特許分類】
G06T 13/40 20110101AFI20250109BHJP
G06T 17/00 20060101ALI20250109BHJP
【FI】
G06T13/40
G06T17/00
【審査請求】有
【請求項の数】10
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024108217
(22)【出願日】2024-07-04
(31)【優先権主張番号】18/347551
(32)【優先日】2023-07-05
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】501440684
【氏名又は名称】ソフトバンク株式会社
(71)【出願人】
【識別番号】523384702
【氏名又は名称】ニューラルエックス インコーポレイテッド
【氏名又は名称原語表記】NeuralX Inc.
(74)【代理人】
【識別番号】110000877
【氏名又は名称】弁理士法人RYUKA国際特許事務所
(72)【発明者】
【氏名】石若 裕子
(72)【発明者】
【氏名】仲田 真輝
【テーマコード(参考)】
5B050
【Fターム(参考)】
5B050AA08
5B050BA08
5B050BA09
5B050BA12
5B050CA08
5B050EA24
5B050EA26
5B050FA02
(57)【要約】 (修正有)
【課題】顔の動きのシミュレーションする方法情報処理装置、プログラム及び情報処理方法を提供する。
【解決手段】情報処理装置100は、筋肉を構成する複数の筋繊維の収縮をシミュレートすることによって前記筋肉の動きをシミュレートする筋肉モデルを生成するモデル生成部と、前記筋肉モデルを用いて、人間の顔に含まれる複数の筋肉の動きをシミュレートすることによって、前記人間の顔の動きをシミュレートするシミュレート部と、を備える。情報処理方法は、筋肉を構成する複数の筋繊維の収縮をシミュレートすることによって前記筋肉の動きをシミュレートする筋肉モデルを生成するモデル生成段階と、前記筋肉モデルを用いて、人間の顔に含まれる複数の筋肉の動きをシミュレートすることによって、前記人間の顔の動きをシミュレートするシミュレート段階と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
筋肉を構成する複数の筋繊維の収縮をシミュレートすることによって前記筋肉の動きをシミュレートする筋肉モデルを生成するモデル生成部と、
前記筋肉モデルを用いて、人間の顔に含まれる複数の筋肉の動きをシミュレートすることによって、前記人間の顔の動きをシミュレートするシミュレート部と
を備える情報処理装置。
【請求項2】
前記モデル生成部は、有限要素法を用いて前記筋肉モデルを生成する、請求項1に記載の情報処理装置。
【請求項3】
前記モデル生成部は、前記筋肉を構成する前記複数の筋繊維を複数のグループに分割し、前記複数のグループのうちの一部のグループについて、グループに含まれる複数の筋繊維のそれぞれの収縮をシミュレートする前記筋肉モデルを生成する、請求項1又は2に記載の情報処理装置。
【請求項4】
前記モデル生成部は、前記筋肉を構成する前記複数の筋繊維を、前記筋肉の動きに与える影響が大きい順に、複数のグループに分割し、前記複数のグループのうち、前記筋肉の動きに与える影響が最も大きいグループについて、グループに含まれる複数の筋繊維のそれぞれの収縮をシミュレートする前記筋肉モデルを生成する、請求項3に記載の情報処理装置。
【請求項5】
前記モデル生成部は、前記複数のグループのうちの一部のグループについて、グループに含まれる複数の筋繊維のうちの一部のみの筋繊維の収縮をシミュレートする前記筋肉モデルを生成する、請求項3に記載の情報処理装置。
【請求項6】
前記モデル生成部は、前記複数のグループのうちの一部のグループについて、グループに含まれる複数の筋繊維を一体として収縮をシミュレートする前記筋肉モデルを生成する、請求項3に記載の情報処理装置。
【請求項7】
前記モデル生成部は、前記筋肉を構成する前記複数の筋繊維のうち、前記筋肉の外部との境界に位置する複数の筋繊維のそれぞれの収縮をシミュレートし、境界以外に位置する複数の筋繊維のうちの一部のみの筋繊維の収縮をシミュレートする前記筋肉モデルを生成する、請求項1に記載の情報処理装置。
【請求項8】
前記モデル生成部は、前記筋肉を構成する前記複数の筋繊維のうち、自由度がより高い複数の筋繊維のそれぞれの収縮をシミュレートし、自由度がより低い複数の筋繊維のうちの一部のみの筋繊維の収縮をシミュレートする前記筋肉モデルを生成する、請求項1に記載の情報処理装置。
【請求項9】
コンピュータを、
筋肉を構成する複数の筋繊維の収縮をシミュレートすることによって前記筋肉の動きをシミュレートする筋肉モデルを生成するモデル生成部、及び
前記筋肉モデルを用いて、人間の顔に含まれる複数の筋肉の動きをシミュレートすることによって、前記人間の顔の動きをシミュレートするシミュレート部
として機能させるためのプログラム。
【請求項10】
コンピュータによって実行される情報処理方法であって、
筋肉を構成する複数の筋繊維の収縮をシミュレートすることによって前記筋肉の動きをシミュレートする筋肉モデルを生成するモデル生成段階と、
前記筋肉モデルを用いて、人間の顔に含まれる複数の筋肉の動きをシミュレートすることによって、前記人間の顔の動きをシミュレートするシミュレート段階と
を備える情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、コンピュータ可読記憶媒体、及び情報処理方法に関する。
【背景技術】
【0002】
CG(Computer Graphics)の分野において、筋収縮に基づくシミュレーション手法が知られていた(例えば、非特許文献1~非特許文献6、参照)。従来のシミュレーション手法では、いわゆるヒルタイプモデル及びいわゆるCPG(Central Pattern Generator)等が用いられていた。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】Thomas Geitenbeek, Michiel van de Panne, A. F. v. d. s. Flexible muscle-based locomotion for bipedal creatures. ACM Transactions on Graphics, (206), 2013.
【非特許文献2】Jack M.Wang, Samuel R.Hmner, S. L. V. K. Optimizing locomotion controllers using biologically-based actuators and objectives. ACM Trans. Graph, 31(4), 2012.
【非特許文献3】Yoonsang Lee, Moon Seok Park, T. K. J. L. Locomotion control for many-muscle humanoids. ACM Transactions on Graphics, 33(6), 2014.
【非特許文献4】Sehee Min, Jungdam Won, S. L. J. P. J. L. Softcon: simulation and control of soft-bodied animals with biomimetic actuators. ACM Transactions on Graphics, 38(6):208:1-208:12, 2019.
【非特許文献5】Cecila Laschi, Matteo Cianchetti, B. M. L. m. M. F. P. D. Soft robot arm inspired by the octopus. Advanced Robotics, 26(7):709-727, 2012.
【非特許文献6】Jungdam Won, Jongho Park, K. K. J. L. How to train your dragon: Example-guided control of flapping flight. ACM Transactions on Graphics, 36(4):1:1-1:12, 2017.
【図面の簡単な説明】
【0004】
【
図2】情報処理装置100の構造の一例を概略的に示す。
【
図3】情報処理装置100による処理のフローの一例を概略的に示す。
【
図5】繊維配向のアイソカーブ抽出の一例を概略的に示す。
【
図6】ヒルの筋肉機能モデルの一例を概略的に示す。
【
図7】並列要素の、線形化応力-ひずみ関係を示す。
【
図8】直列要素の、線形化応力-ひずみ関係を示す。
【
図9】CEが最適長のときの、完全に活性化した筋組織の力-速度関係を示す。
【
図10】能動的な力に起因する筋組織の力-長さ関係を示す。
【
図11】時間(s)に対する所与の神経興奮u(t)に関する活性化関数α(t)の例を示す。
【
図12】情報処理装置100として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。
【発明を実施するための形態】
【0005】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0006】
図1は、情報処理装置100の一例を概略的に示す。情報処理装置100は、骨格筋のシミュレーションを実行する機能を有する。骨格筋を単に筋肉と記載する場合がある。
【0007】
従来の筋収縮に基づくシミュレーション技術においては、例えば、筋肉毎に、筋肉が最も縮んだ状態と、最も伸びた状態とを登録して、その間を補完する方法がとられていた。しかし、このような従来技術では、筋肉の動きを正確にシミュレートすることが難しく、実際とは異なる動きとなってしまい、不気味に感じる動きとなってしまう場合があった。
【0008】
それに対して、本実施形態に係る情報処理装置100は、筋肉を構成する複数の筋繊維の収縮をシミュレートすることによって筋肉の動きをシミュレートする筋肉モデルを生成する。そして、例えば、情報処理装置100は、生成した筋肉モデルを用いて、人間の顔が有する複数の筋肉の動きをシミュレートすることによって人間の顔の動きをシミュレートする。これにより、人間の顔の筋肉の動きをより正確に実現することができ、不気味に感じない、又は、不気味に感じにくい人間の顔の動きを実現することができる。
【0009】
情報処理装置100は、様々な分野に適用されてよい。例えば、情報処理装置100は、筋肉モデルを用いて人間の顔に含まれる複数の筋肉の動きをシミュレートすることによって、人間の顔の精巧なCGアニメーションを生成する。情報処理装置100は、生成したCGアニメーションを、情報処理装置100が備えるディスプレイに表示させてよい。また、情報処理装置100は、例えば、生成したCGアニメーションを、ネットワーク20を介して通信端末200に送信する。
【0010】
通信端末200は、PC(Personal Computer)、タブレット端末、スマートフォン、ロボット、及び家電等の、通信可能な任意の端末であってよい。情報処理装置100と通信端末200とは、ネットワーク20を介して通信してよい。ネットワーク20は、インターネットを含んでよい。ネットワーク20は、LAN(Local Area Network)を含んでよい。ネットワーク20は、移動体通信ネットワークを含んでよい。移動体通信ネットワークは、LTE(Long Term Evolution)通信方式、5G(5th Generation)通信方式、3G(3rd Generation)通信方式、及び6G(6th Generation)通信方式以降の通信方式のいずれに準拠していてもよい。
【0011】
例えば、情報処理装置100は、筋肉モデルを用いて人間の顔の動きをシミュレートすることによって、顔認証用のシンセティックデータを生成してよい。情報処理装置100は、生成したシンセティックデータを用いた機械学習を実行してよい。情報処理装置100は、生成したシンセティックデータを通信端末200に送信してもよい。
【0012】
例えば、情報処理装置100は、筋肉モデルを用いて人間の顔をシミュレートして、筋肉の動きの情報を含む人間の顔の3次元データを生成する。
【0013】
図2は、情報処理装置100の機能構成の一例を概略的に示す。情報処理装置100は、記憶部102、モデル生成部104、シミュレート部106、送信部110、表示制御部112、及び処理実行部114を備える。なお、情報処理装置100がこれらの全てを備えることは必須とは限らない。
【0014】
記憶部102は、各種情報を記憶する。記憶部102は、筋肉モデルの生成に用いる情報を記憶してよい。
【0015】
モデル生成部104は、人間の顔の筋肉の動きをシミュレートする筋肉モデルを生成する。モデル生成部104は、人間の顔の筋肉を構成する複数の筋繊維の収縮をシミュレートすることによって、当該筋肉の動きをシミュレートする筋肉モデルを生成する。モデル生成部104は、人間の表情筋が有する複数の筋肉のそれぞれについて、筋肉を構成する複数の筋繊維の収縮をシミュレートすることによって、当該複数の筋肉の動きをシミュレートする筋肉モデルを生成してよい。モデル生成部104は、生成した筋肉モデルを記憶部102に記憶させる。
【0016】
人間の顔を構成する複数の部位のそれぞれは、1又は複数の筋肉を有する。例えば、人間の顔は、口の筋肉(muscles of the mouth)、鼻の筋肉(muscles of the nose)、頭蓋及び首の筋肉(muscles of the cranium and neck)、耳の筋肉(muscles of the external ear)、及び瞼の筋肉(muscles of the eyelid)を含む。口の筋肉は、口輪筋(Orbicularis Oris muscle)、笑筋(Risorius muscle)、頬筋(Buccinator muscle)、上唇挙筋(Levator labii superioris)、下唇下制筋(Depressor labii inferioris)、上唇鼻翼挙筋(Levator labii superioris alaeque nasi)、オトガイ筋(Mentalis)、口角挙筋(Levator anguli oris)、口角下制筋(Depressor anguli oris)、大頬骨筋(Zygomaticus major)、及び小頬骨筋(Zygomaticus minor)を含む。鼻の筋肉は、鼻筋(Nasalis muscle)及び鼻根筋(Procerus muscle)を含む。頭蓋及び首の筋肉は、後頭前頭筋(Occipitofrontalis muscle)及び広頸筋(Platysma muscle)を含む。耳の筋肉は、耳介筋(Auricular muscles)を含む。瞼の筋肉は、眼輪筋(Orbicularis oculi muscle)及び皺眉筋(Corrugator supercilia muscle)を含む。
【0017】
モデル生成部104は、人間の顔の一部位を構成する複数の筋肉毎に、筋肉を構成する複数の筋繊維の収縮をシミュレートしてよい。例えば、モデル生成部104は、口輪筋を構成する複数の筋繊維の収縮をシミュレートすることによって口輪筋の動きをシミュレートすることができる筋肉モデルを生成する。
【0018】
モデル生成部104は、人間の顔の一部位を構成する複数の筋肉のそれぞれを、更に細かく分割して、分割した筋肉毎に、筋肉を構成する複数の筋繊維の収縮をシミュレートしてもよい。例えば、モデル生成部104は、口輪筋を複数に分割して、分割した筋肉毎に、筋肉を構成する複数の筋繊維の収縮をシミュレートする。
【0019】
モデル生成部104は、有限要素法を用いて筋肉モデルを生成してよい。有限要素法を用いることによって、複数の筋繊維の収縮の結果として全体が収縮する筋肉の動きを適切にシミュレートすることができる。
【0020】
記憶部102は、有限要素法を用いたシミュレーションを実行するために用いられる、人間の顔の筋肉の形状を示す筋肉形状データを記憶してよい。筋肉形状データは、例えば、MRI(Magnetic Resonance Imaging)を使用することによって生成される。筋肉形状データは、例えば、CT(Computed Tomography)を使用することによって生成されてもよい。筋肉形状データは、人間におけるZygoteモデルのような、既存のモデルであってもよい。
【0021】
筋肉形状データが、モデル生成部104によって処理可能な形式である場合、モデル生成部104は、筋肉形状データをそのまま用いて、筋肉モデルを生成してよい。筋肉形状データが、モデル生成部104によって処理可能な形式でない場合、モデル生成部104は、筋肉形状データを、処理可能な形式に変換した上で、筋肉モデルを生成してよい。
【0022】
モデル生成部104は、例えば、人間の顔の筋肉を構成する複数の筋繊維の収縮を示す方程式の近似解を、有限要素法を用いて算出することによって、複数の筋繊維の収縮をシミュレートする筋肉モデルを生成してよい。一具体例として、モデル生成部104は、CE(Contractile)、SE(Series)、PE(Parallel)の3つの要素からなる、いわゆるヒルタイプモデルをベースとして、筋肉モデルを生成する。
【0023】
モデル生成部104は、人間の顔の筋肉を構成する複数の筋繊維を複数のグループに分割し、複数のグループのうちの一部のグループについては、グループに含まれる複数の筋繊維のそれぞれの収縮をシミュレートする筋肉モデルを生成してよい。モデル生成部104は、当該一部のグループについては、グループに含まれるすべての筋繊維のそれぞれの収縮をシミュレートする筋肉モデルを生成してよい。モデル生成部104は、当該複数のグループのうちの他の一部のグループについて、グループに含まれる複数の筋繊維のうちの一部のみの筋繊維の収縮をシミュレートする筋肉モデルを生成してよい。モデル生成部104は、当該複数のグループのうちの他の一部のグループについて、グループに含まれる複数の筋繊維を一体として収縮をシミュレートする筋肉モデルを生成してよい。このように人間の顔の筋肉を構成する複数の筋繊維を複数のグループに分割して、グループによって、グループに含まれる複数の筋繊維のそれぞれの収縮をシミュレートしたり、複数の筋繊維の一部のみの収縮をシミュレートしたり、複数の筋繊維を一体として収縮をシミュレートする機能を備えることによって、負荷に応じたシミュレートを実行可能とすることができる。例えば、すべての筋繊維のそれぞれについて収縮をシミュレートしようとした場合に、月単位や年単位の計算時間がかかるような場合には、複数の筋繊維のうち、重要度が低い筋繊維については、間引いたり、一体として計算したりすることによって、精度をできる限り維持しつつ、計算時間を低減することができる。
【0024】
モデル生成部104は、例えば、人間の顔の筋肉を構成する複数の筋繊維を、筋肉の動きに与える影響が大きい順に、複数のグループに分割する。モデル生成部104は、複数のグループにうち、筋肉の動きに与える影響が最も大きいグループについて、グループに含まれる複数の筋繊維のそれぞれの収縮をシミュレートする前記筋肉モデルを生成してよい。モデル生成部104は、複数のグループのうち、筋肉の動きに与える影響が小さくなるにつれて、複数の筋繊維のうちの収縮をシミュレートする割合を小さくしてよい。これにより、筋肉の動きに与える影響が大きい筋繊維については正確にシミュレートしつつ、影響が少ない筋繊維については処理を間引くことによって、処理負荷を適切に低減することができる。
【0025】
モデル生成部104は、人間の顔の筋肉を構成する複数の筋繊維のうち、筋肉の外部との境界に位置する複数の筋繊維のそれぞれの収縮をシミュレートし、境界以外に位置する複数の筋繊維のうちの一部のみの筋繊維の収縮をシミュレートする筋肉モデルを生成してよい。モデル生成部104は、例えば、筋肉の外部との境界に位置する複数の筋繊維については、すべてについて収縮をシミュレートする筋肉モデルを生成する。筋肉の外部との境界に位置する筋繊維は、境界以外に位置する筋繊維と比較して、筋肉の動きに与える影響が大きい場合が多い。よって、筋肉の動きに与える影響が大きい筋繊維については正確にシミュレートしつつ、影響が少ない筋繊維については処理を間引くことによって、処理負荷を適切に低減することができる。
【0026】
モデル生成部104は、人間の顔の筋肉を構成する複数の筋繊維のうち、自由度がより高い複数の筋繊維のそれぞれの収縮をシミュレートし、自由度がより低い複数の筋繊維のうちの一部のみの筋繊維の収縮をシミュレートする筋肉モデルを生成してよい。自由度が高い筋繊維は、自由度が低い筋繊維と比較して、筋肉の動きに与える影響が大きいと考えられる。よって、筋肉の動きに与える影響が大きい筋繊維については正確にシミュレートしつつ、影響が少ない筋繊維については処理を間引くことによって、処理負荷を適切に低減することができる。
【0027】
シミュレート部106は、記憶部102に記憶されている筋肉モデルを用いて、人間の顔に含まれる複数の筋肉の動きをシミュレートすることによって、人間の顔の動きをシミュレートする。
【0028】
シミュレート部106は、例えば、人間の顔全体の筋肉の動きをシミュレートする筋肉モデルを用いて、人間の顔全体の筋肉の動きをシミュレートすることによって、人間の顔全体の動きをシミュレートする。
【0029】
シミュレート部106は、人間の顔の動きをシミュレートして、各種データを生成してもよい。シミュレート部106は、生成したデータを記憶部102に記憶させる。
【0030】
例えば、シミュレート部106は、筋肉モデルを用いて人間の顔に含まれる複数の筋肉の動きをシミュレートすることによって、人間の顔のCGアニメーションを生成する。例えば、シミュレート部106は、筋肉モデルを用いて人間の顔の動きをシミュレートすることによって、顔認証用のシンセティックデータを生成する。
【0031】
例えば、シミュレート部106は、筋肉モデルを用いて人間の表情筋の一部又は全部の筋肉の動きをシミュレートして、筋肉の動きの情報を含む人間の顔の一部又は全部の3次元データを生成する。
【0032】
送信部110は、記憶部102に記憶されているデータを外部に送信する。送信部110は、例えば、モデル生成部104によって生成された筋肉モデルを通信端末200等に送信する。送信部110は、例えば、シミュレート部106によって生成されたCGアニメーションを通信端末200等に送信する。送信部110は、例えば、シミュレート部106によって生成された、筋肉の動きの情報を含む人間の顔の3次元データを通信端末200等に送信する。
【0033】
表示制御部112は、記憶部102に記憶されているデータを、情報処理装置100が備えるディスプレイに表示させる。表示制御部112は、例えば、シミュレート部106によって生成されたCGアニメーションを、情報処理装置100が備えるディスプレイに表示させる。
【0034】
処理実行部114は、記憶部102に記憶されているデータを用いた処理を実行する。処理実行部114は、例えば、シミュレート部106によって生成されたシンセティックデータを用いた機械学習を実行する。
【0035】
図3は、情報処理装置100による処理の流れの一例を概略的に示す。ここでは、情報処理装置100が、人間の顔の筋肉モデルを生成して、人間の顔が様々に変化するCGアニメーションを生成する場合の処理の流れについて説明する。
【0036】
ステップ(ステップをSと省略して記載する場合がある。)102では、モデル生成部104が、記憶部102から、筋肉モデルの生成に用いるデータを取得する。モデル生成部104は、対象となる人間の顔の筋肉の形状を示す筋肉形状データを取得してよい。
【0037】
S104では、モデル生成部104が、S102において取得したデータを用いて、人間の顔の筋肉を構成する複数の筋繊維の収縮をシミュレートすることによって、当該人間の顔の筋肉の動きをシミュレートする筋肉モデルを生成する。
【0038】
S106では、シミュレート部106が、S104においてモデル生成部104が生成した筋肉モデルを用いて、人間の顔が有する複数の筋肉の動きをシミュレートすることによって、人間の顔の動きをシミュレートして、人間の顔が様々に変化するCGアニメーションを生成する。S108では、表示制御部112が、S106においてシミュレート部106が生成したCGアニメーションを表示出力する。
【0039】
以下、情報処理装置100による処理の一具体例について説明する。
【0040】
【0041】
骨格筋は、(不随意に収縮する心筋としての平滑筋とは異なり)意識的に収縮及び弛緩するので、随意筋である。骨格筋組織の主要な機能の一部は、運動を誘発すること、安定性を提供すること、及び身体内の物質を動かすことである。
図4に示してあるように、異なる拡大レベルで観察すると、骨格筋は階層構造を呈する。筋繊維300は、筋原繊維302、筋フィラメント304、筋繊維鞘306、及び筋形質308を含む。
【0042】
最大スケールにおいて、筋肉は、多数の筋束の束でできている。これらは、長い円筒形の細胞、すなわち筋繊維から構成されている。筋繊維は、筋節として知られた、力を生じさせる多数の細胞からなる。筋節は、筋組織の基礎的な収縮(CE)部分である。筋原繊維は、互いに直列かつ並列に配置された大量の筋節からなる。並列に配置された筋原繊維のグループが、筋繊維を構成している。筋組織の構造がこのように反復的な性質であることにより、機械的挙動という観点から筋肉が最終的には筋節の拡大版であることが示唆される。
【0043】
負荷が加えられた下で筋肉の長さが変わるとき、等張性収縮が生じる。等張性収縮は、短縮性又は伸張性のいずれかとすることができる。短縮性収縮の場合、筋肉の張力が抵抗を上回り、筋肉が短くなる。伸張性収縮の場合、発現する筋肉の張力は、抵抗力より小さく、筋肉は長くなる。
【0044】
筋肉が長さを変えない又は変えることができないが、筋肉の負荷が増大するとき、等尺性収縮が生じる。これの例は、固定された位置で、重みのついた物体を保持することである。この負荷は伸展を生じさせ、筋肉は収縮することによってこれを打ち消し、張力の増大を受ける。動きはないが、それでも筋肉における引張力の増大を維持するのにエネルギーが費やされる。身体のほとんどの動きは、等張性及び等尺性の収縮の組み合わせを使用する。
【0045】
例えば、顔の筋肉(顔面筋肉)は、顔の皮膚及び頭皮の下にある約20個の平坦な骨格筋のグループである。それらのほとんどは、頭蓋骨の骨又は繊維構造から生じている。頬筋を除き、顔の筋肉は筋膜によって囲まれていない。これらの筋肉は、いくつかのグループに分類される:口の筋肉(頬唇グループ)、鼻の筋肉(鼻グループ)、頭蓋及び首の筋肉(頭蓋グループ)、外耳の筋肉(耳介グループ)、及び瞼の筋肉(眼窩グループ)である。顔の筋肉の特定の位置及びその結合により、それらはほほえむこと、にっこり笑うこと、及びしかめ面などの顔の動きを生むことができる。顔の筋肉は、表情筋又は顔面筋と呼ばれる。顔の筋肉はすべて、顔面神経(CN VII)によって神経支配されており、顔面動脈によって血管新生される。
【0046】
口の筋肉の大部分は、繊維筋性の中枢(fibromuscular hub)によって接続されており、その中にそれらの繊維が挿入されている。この構造はモダイオラスと呼ばれ、口角に位置し、主に頬筋、口輪筋、笑筋、口角下制筋、及び大頬骨筋によって形成されている。例えば、口の筋肉は、口輪筋、笑筋、頬筋、上唇挙筋、下唇下制筋、上唇鼻翼挙筋、オトガイ筋、口角挙筋、口角下制筋、大頬骨筋、及び小頬骨筋を含む。例えば、鼻の筋肉は、鼻筋及び鼻根筋を含む。例えば、瞼の筋肉は、眼輪筋及び皺眉筋を含む。例えば、頭蓋及び首の筋肉は、後頭前頭筋及び広頸筋を含む。例えば、外耳の筋肉は、耳介筋を含む。
【0047】
良好な有限要素シミュレーションのためには、下部のジオメトリを厳密に表現することが必要である。筋肉の正確なジオメトリを得るための1つの方法は、MRI/CTスキャンを使用することである。別の方法は、筋肉の解剖を利用することであるが、これは生体試験には適用不可能である。私たちのジオメトリは、人体解剖のザイゴット(Zygote)モデルに基づく。ザイゴットモデルは、人体のすべての筋肉及び骨の、非常に正確な解剖学的モデルを提供している。これは、男性及び女性の解剖学的モデルを含む。
【0048】
ザイゴットモデルは、メッシュ形式(.obj)で提供されたが、それは有限要素の用途には適していない。有限要素法が機能するためには、ジオメトリを立体形式に変換しなくてはならなかった。メッシュを立体に変換するために、ライノセラス(Rhinoceros)というソフトウェアを活用した。ライノセラスを選択したのは、顔の筋肉などの非常に複雑なジオメトリに対処する場合に必要なNURBSに、それが対処できることに基づいていた。メッシュを立体に変換した後、GMSHというソフトウェアを活用して、有限要素メッシュを生成した。
【0049】
FEMメッシュ:FEMシミュレーションにおいて最も重要な側面のうちの1つは、滑らかなメッシュを生成することである。ジオメトリは、外部のCADソフトウェアから提供されたので、サードパーティソフトウェアを使用することが必要である。GMSHは、四面体及び六面体のメッシュを作成するために使用されることが可能な、軽いメッシュ生成ソフトウェアである。非常に複雑なジオメトリに対処するために、及びFEMシミュレーションによく適した、滑らかなメッシュを作成するために、四面体メッシュの使用が不可欠であった。
【0050】
繊維の配向:他の生体組織とは対照的に、筋肉は、能動的な収縮の能力を呈し、活性化されるとそれらは繊維方向に沿って収縮する。FEMシミュレーションにおいては、複雑なジオメトリに起因して、繊維配向の配置を定義することが困難である。私たちは筋肉のジオメトリ表現のためにBスプラインソリッド(B-spline-Solid)を使用しているので、ライノセラスを使用するアイソカーブ抽出を活用した。次いで、求積点におけるアイソカーブに対する接線として、繊維配向が判定される。
【0051】
繊維配向の描写にアイソカーブを使用するために、このカーブのパラメータ化を実行しなくてはならなかった。パラメータ化は、コックス-ドボア(Cox-de Boor)再帰関係を使用して可能になった。
【数1】
【0052】
図5は、繊維配向のアイソカーブ抽出の一例を概略的に示す。
【0053】
骨格筋の線形化筋肉モデルに関して、筋肉の収縮を描写する方程式について良好な近似数値解を見出すための強力なツールは、有限要素法である。この方法は、偏微分方程式を代数方程式の有限集合に変換する。これは、(例えば、重み付き残差の公式化を使用することによる)偏微分方程式の等価の整式、及び適切な時空間的離散化を使用することにより達成される。
【0054】
筋肉の数値モデルは、ヒルの実験研究による1938年にさかのぼる。従来のヒルの筋肉モデルは、3つの構成要素、すなわち収縮(CE)、直列(SE)、及び並列(PE)の要素からなる。
図6は、ヒルの筋肉機能モデルの一例を概略的に示す。
【0055】
筋肉は、70%超の水分からなり、ほぼ非圧縮性として挙動する。筋肉内の総応力は、存在するそれぞれの筋肉グループにおける基質及び筋繊維の応力の合計であり、すなわち
σ=σ
m+σ
f (1)
である。σ
fは、繊維内の応力であり、σ
mは、繊維を囲むマトリックスにおける応力である。ここで、σ
mは以下により与えられる。
【数2】
ここで
【数3】
は、通常は等方性である基質の構造テンソルであり、εは、基質内のひずみである。
【0056】
この研究のために、従来のヒルの筋肉モデル(非線形)に基づく線形化筋肉モデルを使用する。一次元の縦走筋の(繊維の方向における)張力は、SE及びPEにおける応力の合計であり、すなわち以下の通りである。
T=Tp+Ts (3)
【0057】
CEにおける張力は、SEにおける張力に等しく、
Tc=Ts (4)
である。
【0058】
概して、伸展はひずみに関する。
λ=1+ε (5)
【0059】
小さいひずみに関しては、
【数4】
であり、繊維内の応力σ
fは、以下によって与えられる。
【数5】
ここで、Tは、存在するそれぞれの筋肉グループの繊維における総引張力である。
【0060】
筋繊維内のひずみεfは、以下によって与えられる。
εf=m・εm (7)
【0061】
繊維の伸展λfは、CE及びSEの伸展λc及びλsに乗法的に分割されると仮定され、それにより
λf=λsλc (8)
となる。
【0062】
初期の繊維長さをL
0、筋収縮に起因する変形した繊維長さをL
c、及び繊維の弾性変形に起因する最終的な長さをLとすると、伸展は以下の通り定義される。
【数6】
【0063】
伸展の乗法的分割は、CE及びSEの間の初期の繊維長さの配分に関する情報を必要としないので、バイオメカニックスにおいて一般的に使用される加法的分割法に優る利点を有する。
【0064】
ここで方程式(5)を使用して、乗法的分割の方程式(8)を以下の通り書き換えることができる。
λf=1+εs+εc+さらに高次の項 (10)
【0065】
ここで、小さいひずみに関して、さらに高次の項は有意でないと仮定される。(10)の項を再配置し、(5)を考慮すると、繊維ひずみの観点からSE及びCEひずみについての公式化が得られる。
【数7】
したがって
【数8】
【0066】
PEにおける応力は、以下によって与えられる。
Tp(εf)=T0fp(εf) (13)
【0067】
fpの線形化により、以下が与えられる。
εf>0のときfp(εf)=mpεf、及びその他の場合0 (14)
【0068】
PEに関して結果的に得られる線形化応力-ひずみ関係は、
図7で確認することができる。ここで、m
p=2aAが、ε
f>0の間の曲線の傾きであり、T
0及びAが、材料パラメータである。
【0069】
SEの応力は、以下によって与えられる。
Ts(εf,εc)=T0fs(εf,εc) (15)
【0070】
テーラー展開を使用し、小さい変位xに留意して、
【数9】
を得る。この近似、及び(12)における近似を適用して、それを以下のように示すことができる。
ε
s≧0のときf
s(ε
f,ε
c)=m
s(ε
f-ε
c)、及びその他の場合0 (16)
【0071】
SEに関して結果的に得られる線形化応力-ひずみ関係は、
図8で確認することができる。ここで、m
s=10が、直線の勾配である。
【0072】
図7及び
図8は、並列要素(
図7)及び直列要素(
図8)に関する線形化応力-ひずみ関係を示す。
【0073】
CEの応力は、以下によって与えられる。
【数10】
ここで、α(t)は、(20)における活性化関数である。
【0074】
(5)及び(12)を使用することにより、
【数11】
及び
【数12】
の関係が、以下のように与えられる。
【数13】
及び
【数14】
【0075】
CEに関して結果的に得られる線形化された応力対ひずみ、及び応力対ひずみ速度の関係は、
図9及び
図10で確認することができる。
図9は、CEが最適長のときの、完全に活性化した筋組織の力-速度関係を示す。
図10は、能動的な力に起因する筋組織の力-長さ関係を示す。
図9及び
図10のそれぞれにおける実線は、線形化筋肉モデルに使用する線形化関数を示しており、破線で示される元の非線形関数に重ねられている。
【0076】
筋肉活性化関数
図9に示してある時間依存性の筋肉活性化関数は、以下の一次微分方程式に対する解によって与えられる。
【数15】
ここでτ
r及びτ
fは、それぞれ筋肉の活性化及び非活性化のための立ち上がり及び立ち下がりの時定数であり、α
minは、活性化の最小値であり、u(t)は、以下によって与えられる時間の関数としての神経興奮である。
0<t≦1のときu(t)=1、及びその他の場合0 (21)
【0077】
図11は、所与の神経興奮u(t)対時間(s)に関する活性化関数α(t)の例を示す。
【0078】
後退オイラー法は、現在の状態における解を見出すために、システムの現在及び前の状態を使用する陰解法である。この方法を使用して、(20)の活性化速度を以下によって近似することができる。
【数16】
ここで、Δtは時間ステップサイズであり、α
nは、現在の時間ステップにおける活性化であり、α
n-1は、前の時間ステップにおける活性化である。後退オイラー法を(20)の活性化関数に適用し、(21)の神経の入力関数を使用し、α
nの解を求めることにより、以下の解が与えられる。
【数17】
【0079】
この陰解法により、前の時間増分における活性化レベルに基づき、現在の時間増分における活性化レベルを判定できるようになる。このようにして、コンピュータ的に活性化関数に対処される。
【0080】
線形化筋肉モデルのパラメータ構成方程式のパラメータは、研究のために多軸試験データから得られ(Humphrey JD, Yin FCP. On constitutive relations and finite deformations of passive cardiac tissue: I. a pseudo-strain-energy function. Journal of Biomechanical Engineering 1987; 109:298-304)、以下の通り与えられる。
c=3.87gf/cm2,b=23.46,A=8.568×10-4gf/cm2,a=12.43
【0081】
また、活性化応力定数は、以下の通り選択される。
T0=6280gf/cm2 (24)
【0082】
以下の通り、せん断率はヤング率に関係することを示すことができる。
【数18】
【0083】
パラメータb及びcを使用して、ヤング率及びポアソン比の関係が、以下のように与えられる。
E=2(1+v)bc (26)
【0084】
したがって、選択されたポアソン比v=0.45について、ヤング率は、以下のように与えられる。
【数19】
【0085】
有限要素近似
線形化筋肉モデルの境界値の、弱形式の均衡方程式は、以下のように与えられる。
【数20】
【0086】
(4)及び(6)の関係を使用して方程式(3)を展開することにより、以下が与えられる。
【数21】
ここで、nは、現在の解の増分であり、導入されるパラメータは、以下のように定義される。
β=m
p+m
s (29)
γ=-m
s (30)
【0087】
CE応力は、SE応力に等しいはずであり、すなわち以下の通りである。
σc=σs (31)
【0088】
繊維ごとにCE及びSE要素の応力関数を展開すると、以下が与えられる。
【数22】
【0089】
後退オイラー法を使用して、CEひずみ速度
【数23】
を以下によって近似することができる。
【数24】
ここで、
【数25】
及び
【数26】
は、現在及び前のCEひずみである。
【0090】
(32)及び(33)を組み合わせて、繊維における現在のCEひずみが、次いで以下によって与えられる。
【数27】
ここで、
【数28】
であると仮定すると、以下のように項を再配置することによってパラメータが形成される。
【数29】
【0091】
(34)の使用を(28)に代入することにより、以下が与えられる。
【数30】
【0092】
方程式(36)とともに(27)の弱形式の均衡方程式は、FEMを使用して解かれることになる。
【0093】
(27)から(36)までを連立一次方程式に適用し、
【数31】
ここで、K、d
n、及びFは、それぞれ剛性マトリックス、変位ベクトル、及び力ベクトルである。
【0094】
図12は、情報処理装置100として機能するコンピュータ1200のハードウェア構成の一例を概略的に示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200を、本実施形態に係る装置の1又は複数の「部」として機能させ、又はコンピュータ1200に、本実施形態に係る装置に関連付けられるオペレーション又は当該1又は複数の「部」を実行させることができ、及び/又はコンピュータ1200に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
【0095】
本実施形態によるコンピュータ1200は、CPU1212、RAM1214、及びグラフィックコントローラ1216を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、記憶装置1224、DVDドライブ、及びICカードドライブのような入出力ユニットを含み、それらは入出力コントローラ1220を介してホストコントローラ1210に接続されている。DVDドライブは、DVD-ROMドライブ及びDVD-RAMドライブ等であってよい。記憶装置1224は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ1200はまた、ROM1230及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ1240を介して入出力コントローラ1220に接続されている。
【0096】
CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ1216は、RAM1214内に提供されるフレームバッファ等又はそれ自体の中に、CPU1212によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス1218上に表示されるようにする。
【0097】
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。記憶装置1224は、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納する。DVDドライブは、プログラム又はデータをDVD-ROM等から読み取り、記憶装置1224に提供する。ICカードドライブは、プログラム及びデータをICカードから読み取り、及び/又はプログラム及びデータをICカードに書き込む。
【0098】
ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/又はコンピュータ1200のハードウェアに依存するプログラムを格納する。入出力チップ1240はまた、様々な入出力ユニットをUSBポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ1220に接続してよい。
【0099】
プログラムは、DVD-ROM又はICカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置1224、RAM1214、又はROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ1200の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
【0100】
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、記憶装置1224、DVD-ROM、又はICカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【0101】
また、CPU1212は、記憶装置1224、DVDドライブ(DVD-ROM)、ICカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0102】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、当該複数のエントリの中から、第1の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0103】
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ1200上又はコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
【0104】
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び/又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び/又はアナログハードウェア回路を含んでよく、集積回路(IC)及び/又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ(FPGA)、及びプログラマブルロジックアレイ(PLA)等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。
【0105】
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROM又はフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(登録商標)ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0106】
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、1又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。
【0107】
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0108】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0109】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【0110】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0111】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【0112】
20 ネットワーク、100 情報処理装置、102 記憶部、104 モデル生成部、106 シミュレート部、110 送信部、112 表示制御部、114 処理実行部、200 通信端末、300 筋繊維、302 筋原繊維、304 筋フィラメント、306 筋繊維鞘、308 筋形質、1200 コンピュータ、1210 ホストコントローラ、1212 CPU、1214 RAM、1216 グラフィックコントローラ、1218 ディスプレイデバイス、1220 入出力コントローラ、1222 通信インタフェース、1224 記憶装置、1230 ROM、1240 入出力チップ
【外国語明細書】