(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-17
(45)【発行日】2023-04-25
(54)【発明の名称】義肢形状データ生成システム、方法、プログラム及び義肢生成システム
(51)【国際特許分類】
A61F 2/60 20060101AFI20230418BHJP
A61F 2/54 20060101ALI20230418BHJP
G06F 30/27 20200101ALI20230418BHJP
G06F 30/10 20200101ALI20230418BHJP
G06F 113/10 20200101ALN20230418BHJP
【FI】
A61F2/60 ZDM
A61F2/54
G06F30/27
G06F30/10 100
G06F113:10
(21)【出願番号】P 2021148683
(22)【出願日】2021-09-13
(62)【分割の表示】P 2019555318の分割
【原出願日】2018-11-20
【審査請求日】2021-11-11
(31)【優先権主張番号】P 2017223984
(32)【優先日】2017-11-21
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】518224624
【氏名又は名称】インスタリム株式会社
(74)【代理人】
【識別番号】100098899
【氏名又は名称】飯塚 信市
(74)【代理人】
【識別番号】100163865
【氏名又は名称】飯塚 健
(72)【発明者】
【氏名】徳島 泰
【審査官】寺澤 忠司
(56)【参考文献】
【文献】米国特許出願公開第2010/0023149(US,A1)
【文献】特開2000-090272(JP,A)
【文献】特表2012-513219(JP,A)
【文献】特開2006-255199(JP,A)
【文献】登録実用新案第3089376(JP,U)
【文献】特開2016-77853(JP,A)
【文献】特開2003-299679(JP,A)
【文献】特開平7-31638(JP,A)
【文献】米国特許出願公開第2018/235779(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
A61F 2/50-2/60
A43D 1/02
G06F 30/10、30/12、30/27
G06F 113:10
G16Y 10/60、20/40
(57)【特許請求の範囲】
【請求項1】
生体の断端部の形状データである断端部形状データを取得する断端部形状データ取得部と、
前記断端部形状データを、断端部形状と当該断端部に適合する義肢の一部又は全体の形状との対応関係を学習済みの機械学習器へと入力して予測処理を行うことにより、前記生体の断端部に適合する義肢の一部又は全体に対応する形状データである予測義肢形状データを生成する予測義肢形状データ生成部と、
前記予測義肢形状データ生成部にて生成された前記予測義肢形状データの修正を許容し、修正が行われた場合には、前記修正後の義肢形状データである修正義肢形状データを生成する修正義肢形状データ生成部と、
任意の3次元義肢形状データに基づいて、当該3次元義肢形状データに対応する3次元プリントを行う3次元プリント部と、
任意の3次元形状をスキャンすることにより、当該3次元形状に対応する3次元形状データを生成する3次元スキャン部と、を備え、
前記修正義肢形状データ生成部における修正は、前記3次元プリント部を介して生成された3次元プリント体を物理的に修正することにより得られた3次元形状を前記3次元スキャン部によりスキャンすることにより行われる、義肢形状データ生成システム。
【請求項2】
前記義肢形状データ生成システムは、さらに、
任意の義肢形状データを取り込んで3次元CADにより当該義肢形状データを編集することを許容する3次元形状編集部、を含み、
前記修正義肢形状データ生成部における修正は、前記3次元形状編集部の前記3次元CADを介して行われる、請求項1に記載の義肢形状データ生成システム。
【請求項3】
前記義肢形状データ生成システムは、さらに、
任意の義肢形状データを取り込んで3次元CADにより当該義肢形状データを編集することを許容する3次元形状編集
部を含み、
前記修正義肢形状データ生成部における修正は、前記3次元プリント部を介して生成された3次元プリント体を物理的に修正することにより得られた3次元形状を前記3次元スキャン部によりスキャンすることにより行われるか、又は、前記3次元形状編集部の前記3次元CADを介して行われる、請求項1に記載の義肢形状データ生成システム。
【請求項4】
前記義肢形状データ生成システムは、さらに、
前記修正が行われない場合には前記予測義肢形状データ
を、又は、
前記修正が行われる場合には前記修正義肢形状データを
、最終義肢形状データとして決定する最終形状決定部を備え、
前記3次元プリント部は、前記最終義肢形状データを出力するための高精度3次元プリントモードと、前記最終義肢形状データとして決定されるより前の義肢形状データを出力するための簡易プリントモードを実行可能に構成されている、請求項
1又は
3に記載の義肢形状データ生成システム。
【請求項5】
前記義肢形状データ生成システムは、さらに、
前記断端部形状データと前記最終義肢形状データに基づいて、前記機械学習器において学習処理を行い、前記機械学習器の予測精度を向上させる機械学習処理部を備える、請求項
4に記載の義肢形状データ生成システム。
【請求項6】
前記最終形状決定部において、前記予測義肢形状データが前記最終義肢形状データとして決定された場合、前記機械学習処理部における前記学習処理が実行されないよう構成される、請求項
5に記載の義肢形状データ生成システム。
【請求項7】
システムを用いて義肢形状データを生成する、義肢形状データ生成方法であって、
生体の断端部の形状データである断端部形状データを取得する断端部形状データ取得ステップと、
前記断端部形状データを、断端部形状と当該断端部に適合する義肢の一部又は全体の形状との対応関係を学習済みの機械学習器へと入力して予測処理を行うことにより、前記生体の断端部に適合する義肢の一部又は全体に対応する形状データである予測義肢形状データを生成する予測義肢形状データ生成ステップと、
前記予測義肢形状データ生成ステップにて生成された前記予測義肢形状データの修正を許容し、修正が行われた場合には、前記修正後の義肢形状データである修正義肢形状データを生成する修正義肢形状データ生成ステップと、を備え
、
前記システムは、
任意の3次元義肢形状データに基づいて、当該3次元義肢形状データに対応する3次元プリントを行う3次元プリント部と、
任意の3次元形状をスキャンすることにより、当該3次元形状に対応する3次元形状データを生成する3次元スキャン部と、を備え、
前記修正義肢形状データ生成ステップにおける修正は、前記3次元プリント部を介して生成された3次元プリント体を物理的に修正することにより得られた3次元形状を前記3次元スキャン部によりスキャンすることにより行われる、義肢形状データ生成方法。
【請求項8】
コンピュータ
システムに、
生体の断端部の形状データである断端部形状データを取得する断端部形状データ取得ステップと、
前記断端部形状データを、断端部形状と当該断端部に適合する義肢の一部又は全体の形状との対応関係を学習済みの機械学習器へと入力して予測処理を行うことにより、前記生体の断端部に適合する義肢の一部又は全体に対応する形状データである予測義肢形状データを生成する予測義肢形状データ生成ステップと、
前記予測義肢形状データ生成ステップにて生成された前記予測義肢形状データの修正を許容し、修正が行われた場合には、前記修正後の義肢形状データである修正義肢形状データを生成する修正義肢形状データ生成ステップと、を実行させる義肢形状データ生成プログラム
であって、
前記コンピュータシステムは、
任意の3次元義肢形状データに基づいて、当該3次元義肢形状データに対応する3次元プリントを行う3次元プリント部と、
任意の3次元形状をスキャンすることにより、当該3次元形状に対応する3次元形状データを生成する3次元スキャン部と、を備え、
前記修正義肢形状データ生成ステップにおける修正は、前記3次元プリント部を介して生成された3次元プリント体を物理的に修正することにより得られた3次元形状を前記3次元スキャン部によりスキャンすることにより行われる、義肢形状データ生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、例えば、義手、義指、義足等の義肢の形状データを生成する義肢形状データ生成システム、方法、プログラム及び義肢生成システムに関する。
【背景技術】
【0002】
欠損した人体の形態や機能の復元を目的として、欠損部に係る断端に対して義肢を装着して使用することがある。しかしながら、従前、そのような義肢の作成にあたっては、時間的又は経済的な様々な負担が存在した。
【0003】
例えば、義肢は義肢装具士等の手によってオーダーメイドで作成されることから高価であった。特に、義肢は、身体の成長や義肢の消耗等に合わせて数年に一度作り替えが必要でその経済的負担は大きかった。
【0004】
また、義肢の完成までの期間は一般に長く、時間的、経済的な負担があった。すなわち、義肢完成までには、複数回の通院や、石膏での型取り作業、手作業での職人的な調整作業等を要し、その納期は通常1ヶ月程度乃至それ以上であった。
【0005】
さらに、義肢を適切に装着するためには、義肢装具士等の経験やノウハウに基づく断端と義肢との適切なフィッティング作業、すなわち、義肢形状の修正等が必要であり、その時間的又は経済的負担があった。このフィッティング作業が適切でなく、断端部と義肢とが適合していない場合、断端部が擦れて傷ついてしまう等の可能性があった。
【0006】
上述の様々な負担を軽減又は解消するため、種々の技術が提案されており、例えば、特許文献1には、義肢作成の特に時間的負担を軽減するため、使用者の属性情報や過去作成した義肢ソケットの3次元データ等を含むデータをインターネット上に一元的に管理しておき、義肢の複製や修正を容易化するシステムが開示されている。
【先行技術文献】
【特許文献】
【0007】
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、特許文献1に示されるシステムでは、単に個人の義肢に関する過去の情報に対応するデータベースを構築しているに過ぎず、従って、断端部に適合する義肢形状の具体的な設計手法や、義肢装具士等によるフィッティング作業に係る時間的、経済的負担の軽減手法に関して言及はなく、迅速かつ経済的に適合的な義肢を製造することができない。
【0009】
本発明は、上述の技術的背景の下になされたものであり、その目的とすることころは、迅速かつ経済的に義肢使用者の断端部の形状に適合的な義肢を製造することにある。本発明のさらに他の目的並びに作用効果については、明細書の以下の記述を参照することにより、当業者であれば容易に理解されるであろう。
【課題を解決するための手段】
【0010】
上述の技術的課題は、以下の構成を有する義肢形状データ生成システム、方法、プログラム、ネットワークシステムにより解決することができる。
【0011】
すなわち、本開示に係る義肢形状データ生成システムは、生体の断端部の形状データである断端部形状データを取得する断端部形状データ取得部と、前記断端部形状データを、断端部形状と当該断端部に適合する義肢の一部又は全体の形状との対応関係を学習済みの機械学習器へと入力して予測処理を行うことにより、前記生体の断端部に適合する義肢の一部又は全体に対応する形状データである予測義肢形状データを生成する予測義肢形状データ生成部と、を備えている。
【0012】
このような構成によれば、機械学習技術を用いて、断端部の形状データに基づいて断端部に適合する義肢の一部(例えば義肢のソケット部)又は義肢全体の形状データを生成することができる。これにより、義肢装具の高度なノウハウが無くとも断端に適合する義肢又はその一部(例えば、ソケット等)を生成することができると共に、その時間的、経済的負担も軽減されることとなる。なお、生体には人間や動物の体等を含むものである。
【0013】
また、前記義肢データ生成システムは、さらに、前記予測義肢形状データ生成部にて生成された前記予測義肢形状データの修正を許容し、修正が行われた場合には、前記修正後の義肢形状データである修正義肢形状データを生成する修正義肢形状データ生成部と、を備えてもよい。
【0014】
このような構成によれば、学習器の予測処理結果に基づくおよその形状に基づいて追加的に調整を行うことができるので、より正確に断端に適合する義肢又はその一部を生成することができる。なお、ここで、修正は、デジタルデータ上での定量的な修正だけでなく、3次元プリント装置と3次元スキャン装置とを用いた試作とその物理的な修正を含むものである。
【0015】
さらに、前記義肢データ生成システムは、さらに、前記修正義肢形状データ生成部にて生成された修正義肢形状データを、前記生体の断端部に適合する義肢の一部又は全体に対応する最終義肢形状データとして決定する最終形状決定部と、前記断端部形状データと前記最終義肢形状データに基づいて、前記機械学習器において学習処理を行い、前記機械学習器の予測精度を向上させる機械学習処理部と、を備えてもよい。
【0016】
このような構成によれば、修正等も加味した最終的な義肢形状データに基づいて機械学習を行うので、サンプル数の増大と共に機械学習器の予測精度をさらに向上させることができる。
【0017】
また、前記義肢形状データ生成システムは、さらに、任意の3次元義肢形状データに基づいて、当該3次元義肢形状データに対応する3次元プリントを行う3次元プリント部と、任意の3次元形状をスキャンすることにより、当該3次元形状に対応する3次元形状データを生成する3次元スキャン部と、を含み、前記修正義肢形状データ生成部における修正は、3次元プリント部を介して生成された3次元プリント体を物理的に修正することにより得られた3次元形状をスキャンすることにより行われる、ものであってもよい。
【0018】
このような構成によれば、3次元プリント体に対して物理的に修正(例えば、削る等)を加えることができるので、義肢装具士等の義肢装具に関する有識者の従来の経験則に則した感覚的な修正を加えることができると共に、修正した形状データに基づいて新たに学習が行われるので、機械学習器の予測精度を適確に向上させることができる。
【0019】
また、前記義肢形状データ生成システムは、さらに、前記生体に関する付随情報を取得する付随情報取得部を備え、前記予測義肢形状データ生成部は、さらに、前記断端部形状データ及び前記付随情報を、断端部形状及び付随情報と当該断端部に適合する義肢の一部又は全体の形状との対応関係を学習済みの機械学習器へと入力して予測処理を行うことにより、前記生体の断端部に適合する義肢の一部又は全体に対応する形状データである予測義肢形状データを生成するものであってもよい。
【0020】
このような構成によれば、生体に関する付随的な情報も含めて学習を行うので、より精度良く断端部に適合する義肢の一部又は全体の形状データを生成することができる。
【0021】
さらに、前記義肢形状データ生成システムは、さらに、任意の義肢形状データを取り込んで3次元CADにより当該義肢形状データを編集することを許容する3次元形状編集部、を含み、前記修正義肢形状データ生成部における修正は、前記3次元形状編集部の前記3次元CADを介して行われる、ものであってもよい。
【0022】
このような構成によれば、3次元CADを用いて義肢形状データを編集できるので定量的な修正が可能となると共に、修正した形状データに基づいて新たに学習が行われるので、機械学習器の予測精度を適確に向上させることができる。
【0023】
また、本発明は、義肢形状データ生成ネットワークシステムとしても観念することができる。すなわち、本開示に係る義肢姿勢システムは、ローカルネットワークと、前記ローカルネットワークとインターネットを介して接続されたサーバと、から構成された義肢形状データ生成ネットワークシステムであって、前記ローカルネットワークは、任意の3次元形状をスキャンして、対応する3次元形状データを生成する3次元スキャン部と、前記3次元スキャナ部にて生成された生体の断端部の形状データである断端部形状データを取得する断端部形状データ取得部と、を備え、かつ、前記サーバは、前記断端部形状データを、断端部形状と当該断端部に適合する義肢の一部又は全体の形状との対応関係を学習済みの機械学習器へと入力して予測処理を行うことにより、前記生体の断端部に適合する義肢の一部又は全体に対応する形状データである予測義肢形状データを生成する予測義肢形状データ生成部、を備え、前記断端部形状データ取得部にて取得された前記断端部形状データは、前記サーバへとインターネットを介して送信され、前記予測義肢形状データ生成部は、前記断端部形状データに基づいて予測義肢形状データを生成すると共に、前記ローカルネットワークへとインターネットを介して送信する、ものである。
【0024】
このような構成によれば、機械学習技術を用いて、断端部の形状データに基づいて断端部に適合する義肢の一部(例えば義肢のソケット部)又は義肢全体の形状データを生成することができる。これにより、義肢装具の高度なノウハウが無くとも断端に適合する義肢又はその一部(例えば、ソケット等)を生成することができると共に、その時間的、経済的負担も軽減されることとなる。加えて、ローカルネットワークの側では機械学習処理等を行う必要がなく計算負荷の分散が可能となると共に、異なる複数のローカルネットワークがインターネットへと接続されている場合に、各ローカルネットワークから得られる断端部形状データ等をサーバへと集約することができる。これにより、様々なパターンに基づいて機械学習を行うことができ、予測精度の更なる向上が期待できることとなる。
【0025】
また、本開示は、方法としても観念することができる。すなわち、本開示に係る義肢形状データ生成方法は、生体の断端部の形状データである断端部形状データを取得する断端部形状データ取得ステップと、前記断端部形状データを、断端部形状と当該断端部に適合する義肢の一部又は全体の形状との対応関係を学習済みの機械学習器へと入力して予測処理を行うことにより、前記生体の断端部に適合する義肢の一部又は全体に対応する形状データである予測義肢形状データを生成する予測義肢形状データ生成ステップと、を備えている。
【0026】
さらに、本開示は、コンピュータプログラムとしても観念することができる。すなわち、本開示に係る義肢形状データ生成プログラムは、コンピュータに、生体の断端部の形状データである断端部形状データを取得する断端部形状データ取得ステップと、前記断端部形状データを、断端部形状と当該断端部に適合する義肢の一部又は全体の形状との対応関係を学習済みの機械学習器へと入力して予測処理を行うことにより、前記生体の断端部に適合する義肢の一部又は全体に対応する形状データである予測義肢形状データを生成する予測義肢形状データ生成ステップと、を実行させる義肢形状データ生成プログラムである。
【発明の効果】
【0027】
本開示によれば、機械学習技術を用いて、断端部の形状データに基づいて断端部に適合する義肢の一部(例えば義肢のソケット部)又は義肢全体の形状データを生成することができる。これにより、義肢装具の高度なノウハウが無くとも断端部に適合する義肢又はその一部(例えば、ソケット等)を生成することができると共に、その時間的、経済的負担も軽減されることとなる。
【図面の簡単な説明】
【0028】
【
図1】
図1は、ネットワークシステム全体を表す概念図である。
【
図2】
図2は、ネットワークシステムの動作例を示す説明図(その1)である。
【
図3】
図3は、ネットワークシステムの動作例を示す説明図(その2)である。
【
図5】
図5は、ニューラルネットワークを用いた学習処理の概念図である。
【
図6】
図6は、システムの全体像を表す説明図である。
【発明を実施するための形態】
【0029】
以下、本開示に係る義肢形状データ生成システム、方法、プログラム、及びネットワークシステムの実施の一形態を、添付の図面を参照しつつ、詳細に説明する。
【0030】
<1.第1の実施形態>
図1~
図6を参照しつつ、第1の実施形態について説明する。
【0031】
<1.1 システムの構成>
まず、
図1を参照しつつ、本実施形態に係る義肢形状データ生成システム100の全体構成について説明する。
【0032】
義肢形状データ生成システム100は、種々の制御を行うCPUやGPU、メモリ、キーボード、ディスプレイ等の入出力装置等を備え、後述の種々の情報処理を行う情報処理装置11と、任意の3次元形状をスキャンして3次元形状データを生成する3次元スキャン装置12(3Dスキャナ等)と、任意の3次元形状データに基づいて3次元形状をプリントする3次元プリンタ装置13(3Dプリンタ等)とが接続することにより構成されたローカルネットワーク10と、ローカルネットワーク10とインターネット30を介して接続され、後述の種々の情報を記憶する記憶装置51と、制御部や記憶部等を含み後述する機械学習処理等を行うサーバ装置52とから構成されたサーバシステム50とから構成されている。なお、サーバシステム50は、所謂クラウド環境下にあり、また、サーバ装置52においては所定の分散処理や仮想化等を行ってもよい。また、記憶部51は、一カ所にある必要はなく、例えば分散して配置されたり、或いは所定のストレージシステムとして構成されてもよい。
【0033】
<1.2 システムの動作>
次に、
図2~
図5を参照しつつ、
図1で示した義肢形状データ生成システム100の動作例について説明する。
【0034】
図2及び
図3は、義肢形状データ生成システム100の動作例について示している。同図左側には、ローカルネットワーク10において行われる処理が示され、同図右側には、サーバシステム50において行われる処理が示されている。
【0035】
図2において、処理が開始すると、情報処理装置11は、3次元スキャン装置12を用いて人体の断端部をスキャンすることにより生成された3次元の断端部スキャンデータを取得する処理を行い(S100)、取得後、当該断端部スキャンデータを、インターネット30を介してサーバシステム50へと送信する(S101)。送信後、情報処理装置11は、後述の予測演算結果を受信するまで待機する(S102NO)。
【0036】
処理の開始後、断端部スキャンデータを受信するまで待機状態(S200NO)にあったサーバ装置52は、断端部スキャンデータを情報処理装置11から受信すると(S200YES)、当該受信した断端部スキャンデータをサーバ装置52の記憶部又は記憶装置51へと保存する(S201)。次に、予め断端部形状と当該断端部形状に適合する義肢の一部、本実施形態では義肢ソケット形状、との対応関係を学習した学習器へと断端部スキャンデータを入力することにより断端部形状に適合する義肢ソケット形状データを予測する予測演算処理が行われる(S202)。この予測演算処理の結果、すなわち、断端部に適合的な義肢ソケット形状データは、情報処理装置11へと送信されると共に(S203)、予測演算結果に相当する義肢ソケット形状データはサーバ装置52の記憶部又は記憶装置51へと保存される。なお、後述するものの、このとき使用する学習器としては種々の学習器が採用可能であるが、例えば、本実施形態においては人工ニューラルネットワークが採用されている。
【0037】
続いて、情報処理装置11が、サーバ装置52から予測演算結果を受信すると(S102YES)、当該予測演算結果に対応する義肢ソケット形状データの修正・試作処理が行われる(S103)。
【0038】
図4は、試作処理の詳細フローについて示した図である。同図から明らかな通り、情報処理装置11において試作処理が開始すると、ディスプレイ上のGUI等を介してモードの選択をユーザに求めるモード選択処理が行われる(S1031)。同図から明らかな通り、モードには、3次元CADを用いて予測演算結果(又は、それ以前に試作処理等が行われていた場合には最新の又は選択された義肢ソケット形状データ)に対応する義肢ソケット形状データを修正する「CAD修正モード」と、予測演算結果(又は、それ以前に試作処理等が行われていた場合には最新の又は選択された義肢ソケット形状データ)を3次元プリント装置13を用いて仮出力する「仮出力モード」、及び、所定の義肢ソケット又は仮出力された義肢ソケットを再度3次元スキャン装置12を用いてスキャンする「3Dスキャンモード」の3つが存在する。なお、ここでは、仮出力なので、3次元プリント装置13は、例えば数時間(2~3時間)程度で出力を完了する簡易的なモードにてプリントを行ってもよい。
【0039】
まず、モード選択処理(S1031)の実行の結果、「CAD修正モード」が選択されると、予測演算結果(又は、それ以前に試作処理等が行われていた場合には最新の又は選択された義肢ソケット形状データ)の読み出しが行われる(S1032)。続いて、読み出された義肢ソケット形状データを3次元CADを用いて編集することを許容する又は促す処理が行われる(S1033)。編集後のデータは情報処理装置11の記憶部へと記憶される(S1034)。すなわち、「CAD修正モード」により情報処理装置11上で定量的に義肢形状を修正することができる。
【0040】
また、修正モード選択処理(S1031)の実行の結果、「仮出力モード」が選択されると、予測演算結果(又は、それ以前に試作処理等が行われていた場合には最新の又は選択された義肢ソケット形状データ)の読み出しが行われる(S1036)。続いて、読み出された義肢ソケット形状データを3次元プリント装置13を用いて3次元出力する処理が行われる(S1037)。なお、ここでは、仮出力なので、3次元プリント装置13は、例えば数時間(2~3時間)程度で出力を完了する簡易的なモードにてプリントを行ってもよい。
【0041】
さらに、修正モード選択処理(S1031)の実行の結果、「3Dスキャンモード」が選択されると、所定の義肢ソケット又は仮出力されたプリント体である義肢ソケットの3次元スキャンを行う処理が行われる(S1039)。3次元スキャンにより得られた形状データは情報処理装置11の記憶部へと記憶される(S1040)。
【0042】
すなわち、「仮出力モード」で仮出力(試作)した3次元プリント体である義肢ソケット形状を物理的に修正し(例えば、削る等)、その後、「3Dスキャンモード」により再度3次元形状データとすることができるため、義肢装具士等の有識者の従来の経験やノウハウに即した感覚的な修正を加えることもできる。
【0043】
以上の3つのモード、すなわち、「CAD修正モード」、「仮出力モード」、及び「3Dスキャンモード」が、義肢ソケット形状が断端に適合する又は適合すると判断されるまで行われる(S1042NO)。その後、一連の処理が完了すると(S1042YES)、試作処理は終了すると共に、最終的な義肢ソケット形状データとして定義される。
【0044】
図3を参照しつつ、
図2の試作処理(S103)完了後の動作例について説明する。同図から明らかな通り、試作処理完了後の修正済の義肢ソケット形状データは、情報処理装置11からサーバ装置52へと送信される(S104)。なお、このとき、試作処理工程において予測演算結果に対して何らの修正も行われなかった場合には、情報処理装置11からサーバ装置52へと修正が行われなかったことを示す信号が送信される。このサーバ装置52への送信の後、3次元プリント装置13を用いて本出力を行うことを可能とする処理が行われる(S105)。なお、この本出力にあたっては、3次元プリント装置13は、例えば、十数時間以上の時間(例えば12時間~24時間)をかけて高精度3次元プリントを行ってもよい。
【0045】
このような構成によれば、修正が不要であった場合には、修正が行われなかったことを示す信号のみがサーバ装置52へと送られる。そのため、義肢ソケット形状データ等の比較的に大きな容量のデータを送る必要がなく、処理負荷を軽減することができる。
【0046】
一方、同図において、修正済の義肢ソケット形状データを受信するまで待機状態(S204NO)となっていたサーバ装置52は、情報処理装置11から修正済の義肢形状データを受信すると(S204YES)、まず、当該修正済の義肢形状データをその内部の記憶部又は記憶装置51へと保存する(S205)。その後、サーバ装置52は、保存(S203)されている予測演算結果と修正済の義肢ソケット形状データを読み出して、それらの間の対応関係を学習する機械学習処理を行う(S206)。この機械学習処理が完了すると、学習後のパラメータ(重み等)がサーバ装置52の記憶部又は記憶装置51へと保存され(S207)、処理は終了する。
【0047】
なお、サーバ装置52が、修正済の義肢ソケット形状データに代えて、修正が行われなかったことを示す信号を情報処理装置11から受信した場合(S204YES)、修正データの保存処理(S205)及び機械学習処理(S206、S207)を行わずに、処理を終了する。これは、予測処理の精度が十分であってこれ以上の機械学習が不要であると判断されるためである。なお、本実施形態では、機械学習を行わない構成としているが、予測精度の良好なデータを出力するのに用いられたパラメータを強化する目的で、敢えて修正が不要であったデータも用いて機械学習を行ってもよい。
【0048】
図5は、機械学習処理の一例、特に人工ニューラルネットワークを用いて機械学習処理を行う場合の概念図である。本実施形態において用いられる人工ニューラルネットワークは、入力層と、複数の中間層と、出力層を有する多層の人工ニューラルネットワークであり、同図中央において示されるように、ニューロンに相当するノードと、ニューロン間の伝達を行うシナプスに相当しノード間をつなぐ重み付きリンク(重み)と、から構成されている。このような人工ニューラルネットワークによれば、入力に相当するデータセットと教師に相当するデータセットに基づいて、重みに相当する数値を初めとするパラメータが更新され(教師あり学習)、様々な入出力の対応関係を学習することができる。なお、同図の例にあっては、理解の容易化のためニューロン数等が簡略化して記載されていることに留意されたい。
【0049】
次に、本実施形態に係る人工ニューラルネットワークを用いた機械学習処理(S206)について説明する。機械学習処理は順方向演算処理と誤差逆伝播演算処理とから構成される。
【0050】
まず、順方向演算処理について説明する。順方向演算処理が開始すると、同図の左側の入力層に、断端部の3次元形状データ又はそれに相当するデータが入力される。本実施形態においては断端部は膝下部である。当該入力が行われると各ノード間の重みを介して各ニューロンの発火値が計算され、図の左方向から右方向への順方向の伝播処理が行われる。なお、この際、各ニューロンの伝達関数として、例えば、ランプ関数(ReLU)やシグモイド関数等を採用することができる。続いて、順方向の伝播処理が同図右側の出力層まで至ると、出力層には、予測演算結果に相当する義肢の一部(ソケット)の3次元形状データが表現される。このようにして断端部の3次元形状データ又はそれに相当するデータから、予測器(学習器)を介して義肢の一部(ソケット)の3次元形状データが出力されることとなる。
【0051】
次に、誤差逆伝播演算処理が開始すると、まず、上述の順方向演算が行われた後、予測演算結果に相当する義肢ソケットの3次元形状データと、情報処理装置11から受信した教師データに相当する修正済の義肢ソケット形状データとの間の誤差を算出する処理が行われる。この処理で算出された誤差は、誤差逆伝播法を用いて再度入力層へと向けて伝播され、この逆伝播された各誤差量に基づいて、重みに相当する数値を初めとする各パラメータが更新又は修正される。このような一連の処理を種々の多数の入力データと教師データの対について行うことで、学習器は、各修正済のデータの背景にある義肢装具士等を初めとする形状データ修正者のノウハウを学習していき、その結果、学習器の予測精度は漸次的に向上していくこととなる。
【0052】
すなわち、このような構成によれば、機械学習技術を用いて、断端部の形状データに基づいて断端部に適合する義肢の一部(例えば義肢のソケット部)を生成することができる。これにより、義肢装具の高度なノウハウが無くとも断端に適合する義肢又はその一部(例えば、ソケット等)を生成することができると共に、その時間的、経済的負担も軽減されることとなる。
【0053】
また、修正等も加味した最終的な義肢ソケット形状データに基づいて機械学習を行うので、サンプル数の増大と共に機械学習器の予測精度をさらに向上させることができる。
【0054】
次に、
図6は、上述した義肢ソケット形状データ生成システム100の全体像を示す説明図である。同図を用いて、義肢形状データ生成システム100を用いて、義肢提供者が、義肢使用者へと義肢を提供するまでの過程の一例について説明する。
【0055】
同図から明らかな通り、まず、義肢提供者は、義肢使用者に対して問診を行い、問診後、3次元スキャン装置12を用いて義肢使用者の断端部の3次元形状をスキャンする。このスキャンの後、義肢提供者は、スキャンした断端部の3次元形状データをサーバ装置52へと送信する(S100、S101)。このスキャンした断端部の3次元形状データは、クラウド環境にあるサーバ装置52へとアップロードされて予測器(学習器)へと入力され、当該予測器(学習器)から義肢ソケットの3次元形状データが予測演算される(S200~S202)。予測演算結果たる義肢ソケットの3次元形状データは、義肢提供者の情報処理装置11へと送信され推薦(リコメンド)される(S203)。
【0056】
次に、予測演算結果たる義肢ソケットの3次元形状データは、情報処理装置11のディスプレイ等へと表示されると共に義肢提供者による修正の対象となる(S103)。この修正には、3次元CADを用いたデジタル的・定量的な修正や(S1032~S1034)、一旦3次元プリント装置13により仮出力を行った後(S1036~S1037)、仮出力したプリント体に物理的に修正を加え(例えば、削る等)、再度スキャンするアナログな修正(S1039~S1040)の両方を含むものである。これらの修正が一通り完了すると(S1042)、修正後の義肢ソケットの3次元義肢形状データは、サーバ装置52へと送信され再インポートされる(S104、S204~S205)。その後、修正後の義肢ソケットの3次元形状データは3次元プリント装置13にて本出力されると共に(S105)、他の部品とのアセンブリが行われ、義肢として義肢使用者へと提供される。
【0057】
一方、サーバ装置52における学習器、すなわち、人工ニューラルネットワークでは、義肢の断端部を入力とし、修正後の義肢ソケットの3次元形状データを教師データとして学習処理が行われる(S206~S207)。これにより、さらに学習器の予測精度を向上させることができる。
【0058】
<2.変形例>
上述の実施形態においては、機械学習は、義肢の断端部形状を入力とし、修正後の義肢ソケットの3次元義肢形状データを教師データとして行われていたものの、本開示はそのような構成に限定されない。従って、例えば、義肢ソケットといった義肢の一部ではなく、義肢全体を出力するような構成としてもよい。また、問診の際に前記義肢使用者の付随的情報、例えば、年齢、性別、体重、筋肉量、体脂肪、軟部組織の量、断端部の骨の位置、義足の場合であれば、内股/外股、前傾/後傾の等の特性を聞き出して、情報処理装置11へと入力してサーバ装置52へと送信し、それらの付随的情報と断端部形状を入力とし、修正後の義肢ソケットの3次元形状データを教師データとして学習処理を行っても良い。このような構成によれば、義肢の使用者に関する付随的な情報も含めて学習を行うので、より精度良く断端部に適合する義肢の一部又は全体の形状データを生成することができる。
【0059】
また、上述の実施形態においては、シンプルな人工ニューラルネットワークを用いているものの、本開示はそのような構成に限定されない。従って、漸次的に汎化機能を獲得する種々の機械学習アルゴリズム、例えば、サポートベクターマシン(SVM)等の他の機会学習アルゴリズムを利用してもよい。また、人工ニューラルネットワークを用いる場合でも、例えば全結合型のニューラルネットワークや、人工ニューラルネットワークの前段又は後段に畳み込みニューラルネットワーク(CNN)等を配置する構成としてもよい。また、データセット毎に逐次的に学習処理を行うのではなく、複数パターンを蓄積してからバッチ的に学習処理を行ってもよい。さらに、単なる多層構造ではなく、特に、中間層の層数が多い構造を用いて深層学習を行ってもよい。
【0060】
さらに、上述の実施形態においては、情報処理装置11とサーバ装置52との間において、断端部形状データ又は義肢形状データは3次元データとしてそのまま送受信されている。しかしながら、本開示はこのような構成に限定されない。従って、例えば、適切な情報圧縮処理を行ったり、或いはデータ構造を変換する等して情報量を削減して送受信を行っても良い。また、機械学習に適した形式としてから送受信を行ってもよい。
【0061】
加えて、上述の実施形態においては、各機器はローカルネットワーク10とサーバシステム50とに分かれて存在することとしたが、ネットワーク構成は変更可能であり、このような構成に限定されない。従って、例えば、機械学習処理を含む本開示に係るすべての処理をローカルネットワーク10内部にて行っても良いし、3次元スキャン装置12と3次元プリント装置13を別々のネットワーク内に配置してもよい。また、機械学習処理を含む本開示に係るすべての処理を同一の情報処理装置11内部にて行ってもよい。
【産業上の利用可能性】
【0062】
本開示は少なくとも義肢を製造等する産業にて利用可能である。
【符号の説明】
【0063】
10 ローカルネットワーク
11 情報処理装置
12 3次元スキャン装置
13 3次元プリント装置
30 インターネット
50 サーバシステム
51 記憶装置
52 サーバ装置
100 義肢形状データ生成システム