知財求人 - 知財ポータルサイト「IP Force」
特表2024-508141関節の状態を予測および診断できるサービス提供システムおよびその方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-02-22
(54)【発明の名称】関節の状態を予測および診断できるサービス提供システムおよびその方法
(51)【国際特許分類】
G06Q 50/10 20120101AFI20240215BHJP
【ＦＩ】
G06Q50/10
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2023552354
(86)(22)【出願日】2022-01-18
(85)【翻訳文提出日】2023-08-29
(86)【国際出願番号】 KR2022000869
(87)【国際公開番号】W WO2023136388
(87)【国際公開日】2023-07-20
(31)【優先権主張番号】10-2022-0006399
(32)【優先日】2022-01-17
(33)【優先権主張国・地域又は機関】KR
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
３．ＬｏＲａ
(71)【出願人】
【識別番号】523043496
【氏名又は名称】エイアイフォーペット
【氏名又は名称原語表記】ＡＩＦＯＲＰＥＴ
【住所又は居所原語表記】７０７，８０，Ｊｉｇｏｋ－ｒｏ Ｎａｍ－ｇｕ，Ｐｏｈａｎｇ－ｓｉ Ｇｙｅｏｎｇｓａｎｇｂｕｋ－ｄｏ ３７６６６，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100130111
【弁理士】
【氏名又は名称】新保 斉
(72)【発明者】
【氏名】ホ、ウン ア
(57)【要約】
【要約】関節の状態を予測および診断できるサービス提供システムおよびその方法が提供される。サーバーによって遂行される関節の状態を予測および診断できるサービス提供方法において、対象体に対する撮影映像データからフレーム別イメージ情報を抽出する段階；前記フレーム別イメージ情報を畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）の複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）のうち姿勢推定モデル（Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ）に入力して前記対象体の予測関節データを抽出する段階；および標準データに基づいて前記姿勢推定モデルを通じて抽出された前記予測関節データを比較および分析して前記対象体の関節の異常の有無を判断して診断した結果データを生成する段階；を含み、前記予測関節データを抽出する段階は、前記フレーム別イメージ情報から前記対象体と背景を分離して前記対象体を客体として認識する段階；前記客体を中心にバウンダリ領域を検出してフレーム別にバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を設定する段階；前記バウンディングボックス内に位置する前記客体の身体部位に対するフレーム別予測座標情報を抽出する段階；前記バウンディングボックス内に位置する前記客体の客体移動方向を抽出する段階；および前記客体移動方向に基づいて前記予測座標情報をラベリングして前記予測関節データを抽出する段階；を含むことができる。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
サーバーによって遂行される関節の状態を予測および診断できるサービス提供方法において、対象体に対する撮影映像データからフレーム別イメージ情報を抽出する段階；
前記フレーム別イメージ情報を畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）の複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）のうち姿勢推定モデル（Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ）に入力して前記対象体の予測関節データを抽出する段階；および、
標準データに基づいて前記姿勢推定モデルを通じて抽出された前記予測関節データを比較および分析して前記対象体の関節の異常の有無を判断して診断した結果データを生成する段階；を含み、
前記予測関節データを抽出する段階は、
前記フレーム別イメージ情報から前記対象体と背景を分離して前記対象体を客体として認識する段階；
前記客体を中心にバウンダリ領域を検出してフレーム別にバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を設定する段階；
前記バウンディングボックス内に位置する前記客体の身体部位に対するフレーム別予測座標情報を抽出する段階；
前記バウンディングボックス内に位置する前記客体の客体移動方向を抽出する段階；および、
前記客体移動方向に基づいて前記予測座標情報をラベリングして前記予測関節データを抽出する段階；を含む
ことを特徴とする関節の状態を予測および診断できるサービス提供方法。
【請求項2】
前記予測関節データを抽出する段階は、前記予測座標情報を利用して派生変数（Ｄｅｒｉｖｅｄ Ｖａｒｉａｂｌｅ）を生成する段階；および、
前記標準データに基づいて前記派生変数を前記姿勢推定モデルに入力して前記予測関節データを抽出する段階；を含む
請求項１に記載の関節の状態を予測および診断できるサービス提供方法。
【請求項3】
前記結果データを生成する段階は、前記標準データに基づいて前記予測座標情報と標準座標情報をフレーム別にマッチングして予め設定された基準以上の場合、前記対象体の関節の異常があると判断された前記結果データを生成する
請求項２に記載の関節の状態を予測および診断できるサービス提供方法。
【請求項4】
前記派生変数は前記客体の右足と左足間の足取りの高さ、前記客体の動きの変化に対応するフレーム数、前記客体の少なくとも一つ以上の足の角度および前記客体の首および尻尾の動きのうち少なくとも一つを含む請求項３に記載の関節の状態を予測および診断できるサービス提供方法。
【請求項5】
前記結果データを生成する段階は、前記客体の右足と左足間の足取りの高さの差を分析して前記標準データを基準として設定された平均値以上の高さの差が発生する場合、前記対象体の関節の異常があると判断された前記結果データを生成する
請求項４に記載の関節の状態を予測および診断できるサービス提供方法。
【請求項6】
前記結果データを生成する段階は、前記客体の動きの変化に対応するフレーム数の差を分析して前記標準データを基準として設定された平均値以上のフレームの数が発生する場合、前記客体の関節に異常があると判断された前記結果データを生成する
請求項４に記載の関節の状態を予測および診断できるサービス提供方法。
【請求項7】
前記結果データを生成する段階は、前記客体の少なくとも一つ以上の足の角度を分析して動きの変化に対応する足の角度の差を分析して前記標準データを基準として設定された平均値以上の角度差が発生する場合、前記客体の関節に異常があると判断された前記結果データを生成する
請求項４に記載の関節の状態を予測および診断できるサービス提供方法。
【請求項8】
前記結果データを生成する段階は、前記客体の首および尻尾の動きを分析して動きの変化に対応する座標値の差を分析して前記標準データを基準として設定された平均値以上のＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）が発生する場合、前記客体の関節に異常があると判断された前記結果データを生成する
請求項４に記載の関節の状態を予測および診断できるサービス提供方法。
【請求項9】
前記標準データを生成する段階；を含み、前記標準データを生成する段階は、
動画からフレーム別にイメージを抽出する段階；
抽出されたイメージに含まれた客体の身体部位に対する標準座標情報を抽出およびラベリングする段階；
前記標準座標情報を利用して標準派生変数を生成する段階；
前記標準派生変数に基づいて標準媒介変数を設定した後、前記姿勢推定モデルに入力する段階；および、
前記姿勢推定モデルを通じて獲得した標準関節データと前記標準関節データに対応する標準結果データを反復学習して生成された標準データを検証する段階；を含む
請求項１に記載の関節の状態を予測および診断できるサービス提供方法。
【請求項10】
前記対象体別に前記姿勢推定モデルを通じて抽出された前記予測関節データをフレーム別にラベリングする段階；をさらに含む請求項１に記載の関節の状態を予測および診断できるサービス提供方法。
【請求項11】
前記撮影映像データは前記対象体が歩く１０秒以上の一貫した方向に撮影された動画ファイルである請求項１に記載の関節の状態を予測および診断できるサービス提供方法。
【請求項12】
関節の状態を予測および診断できるサービス提供システムにおいて、検査しようとする対象体から撮影映像データを獲得する使用者端末機；および、
前記対象体に対する撮影映像データからフレーム別イメージ情報を抽出し、前記フレーム別イメージ情報を畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）の複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）のうち姿勢推定モデル（Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ）に入力して前記対象体の予測関節データを抽出し、標準データに基づいて前記姿勢推定モデルを通じて抽出された前記予測関節データを比較および分析して前記対象体の関節の異常の有無を判断して診断した結果データを生成する管理サーバー；を含み、
前記管理サーバーは、
前記フレーム別イメージ情報から前記対象体と背景を分離して前記対象体を客体として認識し、前記客体を中心にバウンダリ領域を検出してフレーム別にバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を設定し、前記バウンディングボックス内に位置する前記客体の身体部位に対するフレーム別予測座標情報を抽出し、前記バウンディングボックス内に位置する前記客体の客体移動方向を抽出し、前記客体移動方向に基づいて前記予測座標情報をラベリングして前記予測関節データを抽出する
ことを特徴とする関節の状態を予測および診断できるサービス提供システム。
【請求項13】
前記結果データに対応して生成された診療管理データを共有するサービス連係端末機；を含む請求項１２に記載の関節の状態を予測および診断できるサービス提供システム。
【請求項14】
前記標準データを学習して前記撮影映像データに対応する前記結果データを生成する管理者端末機；をさらに含む請求項１２に記載の関節の状態を予測および診断できるサービス提供システム。
【請求項15】
ハードウェアであるコンピュータと結合されて、請求項１に記載された方法を遂行できるようにコンピュータで読み取り可能な記録媒体に保存されたことを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は関節の状態を予測および診断できるサービス提供システムおよびその方法に関し、特に、使用者から獲得した動画を利用して動物の膝蓋骨および股関節などの脱臼を予測および異常の有無を非対面で判断できる関節の状態を予測および診断できるサービス提供システムおよびその方法に関する。
【背景技術】
【0002】
最近、人口構造が高齢化し単身世帯が増加するにつれて、人間は次第に自己中心的で心が荒廃化していきつつある。これに伴い、伴侶動物を家族構成員またはパートナーとして認識する人々の数が増加しており、伴侶動物の市場も着実に成長している。
【0003】
このような伴侶動物に普段には見られない異常症状が発生する場合、多くの場合、伴侶動物を動物病院に連れて行って治療を受けたり周囲の人またはインターネット・電話等を通じて入手した情報に基づいて伴侶動物に発生した異常症状を解決してきた。
【0004】
例えば、老齢化した犬においてよく現れる膝蓋骨脱臼症（ｐａｔｅｌｌａｒ ｌｕｘａｔｉｏｎ）は膝関節の上にある膝蓋骨がずれる疾病であり、外傷によって、または先天的に関節の形体がよくないため発生したり、年を取るにつれて以前には丈夫であった膝関節に異常が現われながら発生する。
【0005】
膝蓋骨脱臼症はトイプードル、ポメラニアン、ヨークシャーテリア、マルチーズなどの特定の小型犬で特に多く発生すると知られている。酷い場合、ずれた関節部が腫れ上がったり靭帯が破裂して痛みが激しいので、伴侶犬が足を引きずったり足を浮かせて歩く姿を見せる。膝蓋骨脱臼症に脆弱であるか、発病可能性が高い個体の場合、事前に集中的な管理をすれば発病を遅らせることができる。すなわち、関節に無理を与える行動をしないように訓練し、物理治療、関節に良い飼料を与え、適切な体重維持、外傷を避けることができる適切な生活環境の造成、運動、マッサージ等を通じて膝蓋骨脱臼症を予防することができ、初期の段階で予め矯正手術を受けてもよい。したがって、膝蓋骨脱臼症を予防し伴侶犬の生活の質を向上させるために、膝蓋骨脱臼症を早期に予測および診断できる手段が必要である。
【0006】
しかし、周囲の人またはインターネット・電話等を通じて入手した情報は誤った情報も多いので治療が困難な場合もあり得、病院を直接訪問した場合にも病院での待機時間が長く、病院の業務量が多くて顧客にサービスが正しくなされない場合が多かった。
【0007】
前記の背景技術として説明された事項は本発明の背景に対する理解増進のためのものに過ぎず、この技術分野で通常の知識を有する者にすでに知られている従来技術に該当することを認めるものと受け入れてはならない。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】大韓民国公開特許第２００３－００３２０８８号（２００３．０４．２６．公開）
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明が解決しようとする課題は、関節の状態を予測および診断できるサービス提供システムおよびその方法を提供することである。
【0010】
本発明が解決しようとする課題は以上で言及された課題に制限されず、言及されていないさらに他の課題は下記の記載から通常の技術者に明確に理解され得る。
【課題を解決するための手段】
【0011】
前述した課題を解決するための本発明の一実施例に係る関節の状態を予測および診断できるサービス提供方法は、サーバーによって遂行される関節の状態を予測および診断できるサービス提供方法において、対象体に対する撮影映像データからフレーム別イメージ情報を抽出する段階；前記フレーム別イメージ情報を畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）の複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）のうち姿勢推定モデル（Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ）に入力して前記対象体の予測関節データを抽出する段階；および標準データに基づいて前記姿勢推定モデルを通じて抽出された前記予測関節データを比較および分析して前記対象体の関節の異常の有無を判断して診断した結果データを生成する段階；を含み、前記予測関節データを抽出する段階は、前記フレーム別イメージ情報から前記対象体と背景を分離して前記対象体を客体として認識する段階；前記客体を中心にバウンダリ領域を検出してフレーム別にバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を設定する段階；前記バウンディングボックス内に位置する前記客体の身体部位に対するフレーム別予測座標情報を抽出する段階；前記バウンディングボックス内に位置する前記客体の客体移動方向を抽出する段階；および前記客体移動方向に基づいて前記予測座標情報をラベリングして前記予測関節データを抽出する段階；を含むことができる。
【0012】
本発明の一実施例において、前記予測関節データを抽出する段階は、前記予測座標情報を利用して派生変数（Ｄｅｒｉｖｅｄ Ｖａｒｉａｂｌｅ）を生成する段階；および前記標準データに基づいて前記派生変数を前記姿勢推定モデルに入力して前記予測関節データを抽出する段階；を含むことができる。
【0013】
本発明の一実施例において、前記結果データを生成する段階は、前記標準データに基づいて前記予測座標情報と標準座標情報をフレーム別にマッチングして予め設定された基準以上の場合、前記対象体の関節の異常があると判断された前記結果データを生成することができる。
【0014】
本発明の一実施例において、前記派生変数は前記客体の右足と左足間の足取りの高さ、前記客体の動きの変化に対応するフレーム数、前記客体の少なくとも一つ以上の足の角度および前記客体の首および尻尾の動きのうち少なくとも一つを含むことができる。
【0015】
本発明の一実施例において、前記結果データを生成する段階は、前記客体の右足と左足間の足取りの高さの差を分析して前記標準データを基準として設定された平均値以上の高さの差が発生する場合、前記対象体の関節の異常があると判断された前記結果データを生成することができる。
【0016】
本発明の一実施例において、前記結果データを生成する段階は、前記客体の動きの変化に対応するフレーム数の差を分析して前記標準データを基準として設定された平均値以上のフレームの数が発生する場合、前記客体の関節に異常があると判断された前記結果データを生成することができる。
【0017】
本発明の一実施例において、前記結果データを生成する段階は、前記客体の少なくとも一つ以上の足の角度を分析して動きの変化に対応する足の角度の差を分析して前記標準データを基準として設定された平均値以上の角度差が発生する場合、前記客体の関節に異常があると判断された前記結果データを生成することができる。
【0018】
本発明の一実施例において、前記結果データを生成する段階は、前記客体の首および尻尾の動きを分析して動きの変化に対応する座標値の差を分析して前記標準データを基準として設定された平均値以上のＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）が発生する場合、前記客体の関節に異常があると判断された前記結果データを生成することができる。
【0019】
本発明の一実施例において、前記標準データを生成する段階；を含み、前記標準データを生成する段階は、動画からフレーム別にイメージを抽出する段階；抽出されたイメージに含まれた客体の身体部位に対する標準座標情報を抽出およびラベリングする段階；前記標準座標情報を利用して標準派生変数を生成する段階；前記標準派生変数に基づいて標準媒介変数を設定した後、前記姿勢推定モデルに入力する段階；および前記姿勢推定モデルを通じて獲得した標準関節データと前記標準関節データに対応する標準結果データを反復学習して生成された標準データを検証する段階；を含むことができる。
【0020】
本発明の一実施例において、前記対象体別に前記姿勢推定モデルを通じて抽出された前記予測関節データをフレーム別にラベリングする段階；をさらに含むことができる。
【0021】
本発明の一実施例において、前記撮影映像データは前記対象体が歩く１０秒以上の一貫した方向に撮影された動画ファイルであり得る。
【0022】
また、前述した課題を解決するための本発明の他の一実施例に係る関節の状態を予測および診断できるサービス提供システムは、関節の状態を予測および診断できるサービス提供システムにおいて、検査しようとする対象体から撮影映像データを獲得する使用者端末機；および前記対象体に対する撮影映像データからフレーム別イメージ情報を抽出し、前記フレーム別イメージ情報を畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）の複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏｎ ｌａｙｅｒ）のうち姿勢推定モデル（Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ）に入力して前記対象体の予測関節データを抽出し、標準データに基づいて前記姿勢推定モデルを通じて抽出された前記予測関節データを比較および分析して前記対象体の関節の異常の有無を判断して診断した結果データを生成する管理サーバー；を含み、前記管理サーバーは、前記フレーム別イメージ情報から前記対象体と背景を分離して前記対象体を客体として認識し、前記客体を中心にバウンダリ領域を検出してフレーム別にバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を設定し、前記バウンディングボックス内に位置する前記客体の身体部位に対するフレーム別予測座標情報を抽出し、前記バウンディングボックス内に位置する前記客体の客体移動方向を抽出し、前記客体移動方向に基づいて前記予測座標情報をラベリングして前記予測関節データを抽出することができる。
【0023】
本発明の一実施例において、前記結果データに対応して生成された診療管理データを共有するサービス連係端末機；を含むことができる。
【0024】
本発明の一実施例において、前記標準データを学習して前記撮影映像データに対応する前記結果データを生成する管理者端末機；をさらに含むことができる。
【0025】
本発明の一実施例に係るプログラムはハードウェアであるコンピュータと結合されて、前記関節の状態を予測および診断できるサービス提供方法を遂行できるようにコンピュータで読み取り可能なコンピュータで読み取り可能な記録媒体に保存される。
【0026】
本発明のその他の具体的な事項は詳細な説明および図面に含まれている。
【発明の効果】
【0027】
本発明によると、使用者から獲得した動画を利用して動物の膝蓋骨の脱臼を予測および異常の有無を非対面で判断できるため、使用者の多様性を尊重しながら便宜性および信頼性を高めることができる。
【0028】
本発明によると、検査対象体、特に伴侶動物の関節に異常が発生した場合、携帯可能な端末機を利用して伴侶動物の現在状態を迅速かつ正確に判断できるため、伴侶動物の保護者に信頼感を与えることができる。
【0029】
本発明によると、携帯可能な端末機を利用して伴侶動物の現在状態をリアルタイムで正確に診断することによって、使用者の便宜性および信頼性を高めることができる。
【0030】
本発明によると、伴侶動物の現在状態に対する病院情報が共に提供されることによって、伴侶動物の疾病に対応可能な病院で伴侶動物の疾病を初期に治療して伴侶動物の健康を守ることができる。
【0031】
本発明によると、伴侶動物に対する通知情報を保護者に持続的に提供することによって、動物病院の再訪問誘導および離脱を防止することができる。
【0032】
本発明によると、伴侶動物の検診結果を連係サービスと共有することによって、伴侶動物に状態をさらに正確に把握しこれに対応できるため、伴侶動物の保護者に信頼感を与えることができる。
【0033】
本発明の効果は以上で言及された効果に制限されず、言及されていないさらに他の効果は下記の記載から通常の技術者に明確に理解され得る。
【図面の簡単な説明】
【0034】
【図1】本発明の一実施例に係る関節の状態を予測および診断できるサービス提供システムを説明するための概念図である。
【図3】本発明の一実施例に係る関節の状態を予測および診断できるサービス提供方法を説明するための図面である。
【発明を実施するための形態】
【0035】
本発明の利点および特徴、そしてそれらを達成する方法は、添付される図面とともに詳細に後述されている実施例を参照すると明確になる。しかし、本発明は以下で開示される実施例に制限されるものではなく互いに異なる多様な形態で具現され得、ただし本実施例は本発明の開示を完全なものとし、本発明が属する技術分野の通常の技術者に本発明の範疇を完全に知らせるために提供されるものであり、本発明は請求項の範疇によって定義されるのみである。
【0036】
本明細書で使われた用語は、実施例を説明するためのものであり本発明を制限しようとするものではない。本明細書で、単数型は文面で特に言及しない限り複数型も含む。明細書で使われる「含む（ｃｏｍｐｒｉｓｅｓ）」および／または「含む（ｃｏｍｐｒｉｓｉｎｇ）」は言及された構成要素の他に一つ以上の他の構成要素の存在または追加を排除しない。明細書全体に亘って同じ図面符号は同じ構成要素を指し示し、「および／または」は言及された構成要素のそれぞれおよび一つ以上のすべての組み合わせを含む。たとえ「第１」、「第２」等が多様な構成要素を叙述するために使われ得るが、これらの構成要素はこれらの用語によって制限されないことは言うまでもない。これらの用語は単に一つの構成要素を他の構成要素と区別するために使うものである。したがって、以下で言及される第１構成要素は本発明の技術的思想内で第２構成要素であってもよいことは言うまでもない。
【0037】
特に定義されない限り、本明細書で使われるすべての用語（技術および科学的用語を含む）は本発明が属する技術分野の通常の技術者に共通して理解され得る意味で使われ得るであろう。また、一般的に使われる辞書に定義されている用語は明白に特に定義されていない限り理想的にまたは過度に解釈されない。
【0038】
以下、添付された図面を参照して本発明の実施例を詳細に説明する。
【0039】
図１は本発明の一実施例に係る関節の状態を予測および診断できるサービス提供システムを説明するための概念図であり、図２は図１に図示された関節の状態を予測および診断できるサービス提供システムの詳細構成を説明するための図面である。
【0040】
図１および図２に図示された通り、本発明の一実施例である関節の状態を予測および診断できるサービス提供システム１は、使用者端末機１０、管理サーバー２０、サービス連係端末機３０および管理者端末機４０を含むことができる。この時、管理者端末機４０は省略され得る。
【0041】
ここで、使用者端末機１０、管理サーバー２０、サービス連係端末機３０および管理者端末機４０は無線通信網を利用してリアルタイムで同期化されてデータを送受信することができる。無線通信網は多様な遠距離通信方式が支援され得、例えば無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ：ＷＬＡＮ）、ＤＬＮＡ（登録商標）（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）、ワイヤレスブロードバンド（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ：Ｗｉｂｒｏ）、ワイマックス（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ：Ｗｉｍａｘ）、ＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉ Ａｃｃｅｓｓ）、ＣＤＭＡ２０００（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉ Ａｃｃｅｓｓ ２０００）、ＥＶ－ＤＯ（Ｅｎｈａｎｃｅｄ Ｖｏｉｃｅ－Ｄａｔａ Ｏｐｔｉｍｉｚｅｄ ｏｒ Ｅｎｈａｎｃｅｄ Ｖｏｉｃｅ－Ｄａｔａ Ｏｎｌｙ）、ＷＣＤＭＡ（登録商標）（Ｗｉｄｅｂａｎｄ ＣＤＭＡ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＨＳＵＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＩＥＥＥ ８０２．１６、ロングタームエボリューション（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ：ＬＴＥ）、ＬＴＥＡ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ－Ａｄｖａｎｃｅｄ）、広帯域無線移動通信サービス（Ｗｉｒｅｌｅｓｓ Ｍｏｂｉｌｅ Ｂｒｏａｄｂａｎｄ Ｓｅｒｖｉｃｅ：ＷＭＢＳ）、ＢＬＥ（Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ）、ジグビー（Ｚｉｇｂｅｅ）、ＲＦ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）、ＬｏＲａ（Ｌｏｎｇ Ｒａｎｇｅ）などのような多様な通信方式が適用され得るがこれに限定されず、広く知られている多様な無線通信または移動通信方式が適用されてもよい。
【0042】
まず、本実施例において、関節の状態を予測および診断できるサービス提供システム１を利用して対象体、例えば伴侶動物、特に子犬に限定して伴侶動物の歩き方を撮影し、これに対する関節の異常の有無を判断するものとして開示したが、これに限定しない。例えば、保護者または伴侶人または飼い主（以下、保護者という）とともに生活する哺乳類、鳥類、爬虫類、両生類、魚類などのような脊椎動物、節足動物、軟体動物のような無脊椎動物などを含む多様な動物の関節関連疾患だけでなく、人の関節状態を予測および測定して異常の有無を判断することができる。
【0043】
使用者端末機１０は伴侶動物１１の保護者が所持した携帯可能な端末機であり、本開示で応用プログラム（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍまたはアプリケーション（ａｐｐｌｉｃａｔｉｏｎ））を利用して動作することができ、このようなアプリケーションは無線通信を通じて外部サーバーまたは管理サーバー２０からダウンロードされ得る。例えば、使用者端末機１０はスマートフォン（Ｓｍａｒｔ ｐｈｏｎｅ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、タブレット（Ｔａｂｌｅｔ）、ウェアラブルデバイス（Ｗｅａｒａｂｌｅ Ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（Ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（Ｓｍａｒｔ Ｇｌａｓｓ）、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等を含む）および各種ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）端末機のような多様な端末機を含むことができるがこれに限定するものではない。
【0044】
このような使用者端末機１０は伴侶動物１１の走らない動きを認識して歩き方のパターンを中心に撮影した撮影映像データを獲得することができる。
【0045】
例えば、撮影映像データは関節の状態を予測および診断が必要な対象体である伴侶動物１１が歩く１０秒以上の一貫した方向に撮影された少なくとも１０秒以上の動画ファイルであり得る。
【0046】
すなわち、使用者端末機１０は左側から右側に移動する伴侶動物１１の動きを正面、側面または後面で同じ方向に撮影することができる。
【0047】
ここで、撮影映像データは伴侶動物１１の管理が必要な状態の写真および／または動画に対する情報を含むことができる。例えば、撮影映像データには伴侶動物１１の動きを撮影した動画が含まれ得るが、これに限定するものではない。
【0048】
実施例により、使用者端末機１０は周辺の環境、揺れ、動きの速度、毛色などを考慮して自動で撮影映像データの明るさおよび鮮明度などを調節することができる。
【0049】
また、使用者端末機１０は撮影映像データに対応する結果データを受信して出力することができる。
【0050】
この時、結果データは標準データに基づいて撮影映像データを利用して伴侶動物１１の関節の異常の有無が判断された結果が含まれたデータであり得る。
【0051】
また、標準データは伴侶動物１１の標準状態情報と標準結果データをマッチングして生成されたデータであり得る。標準状態情報には基礎情報、基礎撮影情報および標準座標情報が含まれ得る。基礎情報は保護者情報、遺棄情報、病院記録情報、固有識別番号、犬種、猫種、性別、年齢、体重、中性化の有無などを含み、保護者情報は連絡先などを含み、病院記録情報は予防接種情報、診療情報、アレルギーの有無などを含むことができる。この時、実施例により、病院記録情報に美容情報が含まれてもよい。基礎撮影情報は動画情報を含み、標準座標情報には動画情報に対応して関節の異常の有無を判断できる伴侶動物１１の身体部位に表示される座標情報であり得る。
【0052】
標準結果データは基礎撮影情報を利用して関節の異常の有無を判断したデータであり得る。
【0053】
実施例により、標準結果データには関節の異常の有無に対する疾患別進行段階などを含むことができる。この時、標準結果データは肉眼で判断できるが、これに限定しない。
【0054】
また、使用者端末機１０は診療管理データを送受信することができる。ここで、診療管理データは伴侶動物１１の現状または疾患状態に応じて推薦可能な推薦情報、予約管理情報、動物病院連係情報および病院記録情報を含むことができるが、これに限定しない。
【0055】
例えば、使用者端末機１０は診療管理データを出力する場合、動物病院連係情報に基づいて生成された推薦情報に該当する病院の位置、連絡先、予約可能日などの病院情報をロードビューまたは地図またはカレンダーと共に表示したり、診療内訳情報、予防情報などを含む病院記録情報を表示したり、使用者端末機１０の予約要請信号に対応して受信した予約完了信号が含まれた予約管理情報を画面を通じて表示することができる。
【0056】
また、使用者端末機１０は使用者端末機１０の現在の動作状態を視覚的および聴覚的に表示する手段であり、動作状態により記号、文字、数字などを画面に出力できるディスプレイ、色の変化または点滅で出力するランプ、またはオーディオで出力するスピーカーなどを含むことができる。
【0057】
例えば、伴侶動物１１に対する測定が完了した後に結果データを出力する場合、ディスプレイ部は結果データをＯ／Ｘで表示したり、画面を赤色または緑色で点滅したり、「正常です」または「病院の訪問を推薦します」等の案内文面を表示したり、結果データに対する辞書的情報を共に表示することができる。
【0058】
また、使用者端末機１０は使用者端末機１０で駆動される多数の応用プログラム（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍまたはアプリケーション（ａｐｐｌｉｃａｔｉｏｎ））、使用者端末機１０の動作のためのデータ、命令語を保存することができる。このようなアプリケーションのうち少なくとも一部は、無線通信を通じて外部サーバーからダウンロードされ得る。
【0059】
換言すると、使用者端末機１０は携帯可能な端末機を利用して時間および場所にかかわらず伴侶動物１１の関節の状態を非対面で予測および診断することができる。これに伴い、伴侶動物１１の健康状態を把握して疾病を初期に治療して伴侶動物１１の健康を守ることができることによって、保護者の多様性を尊重しながら便宜性および信頼性を高めることができる。
【0060】
管理サーバー２０はデータ通信部２００、データベース部２２０、モニタリング部２４０および管理制御部２６０を含むことができる。
【0061】
データ通信部２００は使用者端末機１０から撮影映像データを受信する場合、使用者端末機１０に結果データを伝送することができる。
【0062】
実施例により、データ通信部２００は標準データを使用者端末機１０に伝送する場合、使用者端末機１０から結果データを受信することができる。
【0063】
また、データ通信部２００は診療管理データを使用者端末機１０と管理サーバー２０の間で送受信することができる。
【0064】
実施例により、データ通信部２００は診療管理データを使用者端末機１０とサービス連係端末機３０の間で送受信することができる。
【0065】
データベース部２２０は無線通信網を通じて使用者端末機１０およびサービス連係端末機３０と送受信されるデータを保存することができる。この時、標準データは結果データに対応してリアルタイムでアップデートされて保存され得る。
【0066】
データベース部２２０は管理サーバー２０の多様な機能を支援するデータを保存することができる。データベース部２２０は管理サーバー２０で駆動される多数の応用プログラム（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍまたはアプリケーション（ａｐｐｌｉｃａｔｉｏｎ））、管理サーバー２０の動作のためのデータ、命令語を保存することができる。このようなアプリケーションのうち少なくとも一部は、無線通信を通じて外部サーバーからダウンロードされ得る。
【0067】
一方、データベース部２２０に保存される本実施例で使われる標準状態情報、撮影映像データ、結果データおよび標準データは相互に対応するマッピングテーブルの形態で具現され得るがこれに限定するものではない。
【0068】
モニタリング部２４０は使用者端末機１０の動作状態、管理サーバー２０の動作状態、そして使用者端末機１０と管理サーバー２０間の送受信されるデータなどを画面を通じてモニタリングすることができる。すなわち、使用者端末機１０の使用状態をリアルタイムで確認することによって、保護者の使用を便利にして保護者にさらに信頼感を与えることができる。
【0069】
管理制御部２６０は使用者端末機１０から撮影映像データを受信した場合、標準データに基づいて結果データを生成することができる。
【0070】
具体的には、管理制御部２６０は撮影映像データに含まれた動画を前処理した後、フレーム別にイメージ情報を抽出した後、フレーム別イメージ情報を畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）の複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏ ｌａｙｅｒ）のうち姿勢推定モデル（Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ）に入力して予測関節データを抽出し、予測関節データを比較および分析して関節の異常の有無を判断して診断した結果データを生成することができる。
【0071】
例えば、管理制御部２６０は撮影映像データが伴侶動物１１の関節状態を把握するために動きを撮影した情報である場合、撮影映像データに含まれた、自動で明るさ、鮮明度などが補正された動画から関節分析のためのフレーム別イメージ情報を抽出することができる。フレーム別イメージ情報から伴侶動物１１と背景を分離して伴侶動物１１を客体として認識することができる。認識された客体を中心にバウンダリ領域を検出してフレーム別にバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を設定した後、設定されたバウンディングボックス内に位置する客体の身体部位に対するフレーム別予測座標情報を抽出した後、客体移動方向に基づいて予測座標情報をラベリングして予測関節データを抽出することができる。この時、バウンディングボックス内に位置する客体の客体移動方向は一方向に移動することが好ましい。
【0072】
本実施例で、身体部位は足、首、尻尾などの伴侶動物１１の身体部位を含むことができるが、これに限定しない。
【0073】
また、管理制御部２６０は抽出された予測座標情報を利用して派生変数（Ｄｅｒｉｖｅｄ Ｖａｒｉａｂｌｅ）を生成し、生成された派生変数を姿勢推定モデルに入力して予測関節データを抽出することができる。この時、抽出された予測関節データは標準データに基づいてフレーム別にラベリングされ得る。
【0074】
具体的には、管理制御部２６０は客体の右足と左足間の足取りの高さ、客体の動きの変化に対応するフレーム数、客体の少なくとも一つ以上の足の角度および客体の首と尻尾の動きのうち少なくとも一つの変数に対する派生変数を生成して生成された派生変数を利用して予測関節データを生成した後、標準データに基づいて撮影映像データに対応する予測関節データを分析して結果データを生成することができる。
【0075】
例えば、管理制御部２６０は客体の右足と左足間の足取りの高さの差を分析して標準データを基準として設定された平均値以上の高さの差が発生する場合、伴侶動物１１の関節の異常があると判断された結果データを生成することができる。
【0076】
また、管理制御部２６０は客体の動きの変化に対応するフレーム数の差を分析して標準データを基準として設定された平均値以上のフレームの数が発生する場合、伴侶動物１１の関節に異常があると判断された結果データを生成することができる。
【0077】
また、管理制御部２６０は客体の少なくとも一つ以上の足の角度を分析して動きの変化に対応する足の角度の差を分析して標準データを基準として設定された平均値以上の角度差が発生する場合、伴侶動物１１の関節に異常があると判断された結果データを生成することができる。
【0078】
また、管理制御部２６０は客体の首および尻尾の動きを分析して動きの変化に対応する座標値の差を分析して標準データを基準として設定された平均値以上のＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）が発生する場合、伴侶動物１１の関節に異常があると判断された結果データを生成することができる。この時、ＭＳＥは大きさが類似する伴侶動物１１のうち関節の異常がある伴侶動物１１と異常がない伴侶動物１１の首、または尻尾のｙ座標値（高さ）の誤差自乗平均値を示すことができる。
【0079】
実施例により、管理制御部２６０は標準データに基づいて予測座標情報と標準座標情報をフレーム別にマッチングして予め設定された基準以上の場合、伴侶動物１１の関節の異常があると判断された結果データを生成することができる。
【0080】
実施例により、管理制御部２６０は客体の右足と左足間の足取りの高さ、客体の動きの変化に対応するフレーム数、客体の少なくとも一つ以上の足の角度および客体の首と尻尾の動きに対する派生変数を生成して標準データに基づいて撮影映像データに対応する結果データを生成することができる。
【0081】
一方、管理制御部２６０は撮影映像データをフィルタリングすることができる。この時、フィルタリングはラプラス（Ｌａｐｌａｃｅ）フィルタを利用してイメージの揺れの程度をフィルタリングしてイメージを獲得できるが、これに限定するものではない。
【0082】
実施例により、管理制御部２６０は標準データを使用者端末機１０に伝送した場合、伴侶動物１１の撮影映像データに対応する結果データを受信することができる。
【0083】
また、管理制御部２６０はディープラーニングを利用して標準状態情報と標準結果データをマッチングさせて標準データを生成することができる。本実施例でディープラーニングを利用するものとして記載したが、これに限定せず、ランダムフォレスト（Ｒａｎｄｏｍ Ｆｏｒｅｓｔ）、サポートベクターマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等のマシンラーニング技法を利用することができる。この時、管理制御部２６０は結果データに対応してリアルタイムで標準データをアップデートすることができる。
【0084】
具体的には、管理制御部２６０は標準状態情報と標準結果データをＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）アルゴリズムに基づいて反復学習して適合性を検証して標準データを生成することができる。
【0085】
例えば、管理制御部２６０は複数の伴侶動物１１から基礎情報を獲得し、獲得した基礎情報を分析して標準結果データを生成することができる。この時、基礎情報は捨て犬センター、保護所などの施設の子犬から獲得した情報であり得るが、これに限定せず、捨て猫センター施設の猫から獲得した情報であってもよい。
【0086】
また、管理制御部２６０は結果データに基づいて使用者端末機１０とサービス連係端末機３０の間で送受信される診療管理データを管理することができる。ここで、診療管理データは伴侶動物１１の現状または疾患状態に応じて推薦可能な推薦情報、予約管理情報、動物病院連係情報および病院記録情報を含むことができる。
【0087】
例えば、管理制御部２６０は結果データにより診療が必要な場合、病院情報に基づいて生成された推薦情報を使用者端末機１０に提供することができる。この時、推薦情報はサービス連係端末機３０から提供された病院情報に基づいて生成された動物病院連係情報を利用して結果データに対応する病院情報を推薦する情報であり得る。
【0088】
また、管理制御部２６０は使用者端末機１０とサービス連係端末機３０の間の予約管理情報を送受信することができる。
【0089】
例えば、管理制御部２６０は使用者端末機１０から受信した予約要請信号をサービス連係端末機３０に伝送し、サービス連係端末機３０から予約要請信号に対応して生成された予約完了信号を使用者端末機１０に伝送することができる。
【0090】
また、管理制御部２６０は病院記録情報を使用者端末機１０に伝送することができる。この時、管理制御部２６０は病院記録情報をサービス連係端末機３０から提供され得る。
【0091】
例えば、管理制御部２６０は伴侶動物１１の診療が完了した後である場合、診療内訳情報が含まれた病院記録情報を使用者端末機１０に伝送し、一般的な場合、予防情報または美容情報が含まれた病院記録情報を使用者端末機１０に伝送することができる。また、管理制御部２６０は伴侶動物１１に対する通知情報を使用者端末機１０に伝送することができる。この時、通知情報はサービス連係端末機３０によって生成された情報であって、伴侶動物１１の診療または美容に対する通知情報であり得るが、これに限定しない。
【0092】
実施例により、管理制御部２６０は病院記録情報を他のサーバーと共有することができる。
【0093】
実施例により、管理制御部２６０は使用者端末機１０、サービス連係端末機３０および／または管理者端末機４０と送受信されるデータとともに広告情報を挿入して送受信することができる。これに伴い、別途の広告収益が発生して捨て犬センター、捨て猫センター、保護所などの施設に後援することができる。
【0094】
このような構造の管理サーバー２０は複数の伴侶動物１１から獲得した標準状態情報に対応してラベリングされた標準結果データを反復学習して検証された標準データに基づいて、使用者端末機１０を通じて獲得した撮影映像データから診断部位を自動で抽出し、抽出されたイメージを比較および分析して複数の疾病を分析して関節の異常の有無が判断された結果データを生成することができる。これに伴い、伴侶動物１１の状態を肉眼イメージでのみ判断する場合に発生し得る不要な病院訪問、放置などの問題点を解決することができる。
【0095】
また、管理サーバー２０は伴侶動物１１の現状または疾患状態に応じて使用者端末機１０に推薦情報を提供して伴侶動物１１を迅速かつ正確に管理することができる。
【0096】
このような管理サーバー２０はハードウェア回路（例えば、ＣＭＯＳ基盤ロジック回路）、ファームウェア、ソフトウェアまたはこれらの組み合わせによって具現され得る。例えば、多様な電気的構造の形態でトランジスタ、ロジックゲートおよび電子回路を活用して具現され得る。
【0097】
サービス連係端末機３０は伴侶動物１１の健康を管理および診療する複数の動物病院であって、結果データを利用して伴侶動物１１の診療をさらに迅速に進めることができる。
【0098】
サービス連係端末機３０は病院記録情報を使用者端末機１０、管理サーバー２０および別途のサーバーと共有することができる。
【0099】
サービス連係端末機３０は病院情報および通知情報を使用者端末機１０および／または管理サーバー２０に提供することができる。
【0100】
実施例により、サービス連係端末機３０は捨て犬センター、捨て猫センター、保護所などの別途の施設を含むことができる。
【0101】
管理者端末機４０は別途の管理者が所持した端末機であって、使用者端末機１０、管理サーバー２０およびサービス連係端末機３０と無線通信網を利用してリアルタイムで同期化されてデータを送受信することができる。この時、管理者端末機４０は応用プログラム（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍまたはアプリケーション（ａｐｐｌｉｃａｔｉｏｎ））を利用してデータを送受信することができる。
【0102】
管理者端末機４０は管理サーバー２０から受信された標準データを学習して、使用者端末機１０から受信した撮影映像データを分析して撮影映像データに対応する結果データを生成することができる。
【0103】
実施例により、管理者端末機４０は使用者端末機１０から撮影映像データを受信する場合、標準データに基づいて撮影映像データを比較および分析して結果データを生成することができる。
【0104】
実施例により、管理者端末機４０は使用者端末機１０で結果データが生成された場合、使用者端末機１０から結果データを受信して管理サーバー２０に伝送することができる。また、 管理者端末機４０は管理サーバー２０で結果データが生成された場合、管理サーバー２０から結果データを受信して使用者端末機１０に伝送することができる。
【0105】
実施例により、管理者端末機４０は結果データに基づいて伴侶動物１１の現状または疾患状態に対応する診療管理データを使用者端末機１０、管理サーバー２０およびサービス連係端末機３０のうち少なくとも一つと送受信することができる。
【0106】
このような管理者端末機４０は使用者端末機１０、管理サーバー２０およびサービス連係端末機３０との通信を支援する各種携帯可能な電子通信機器を含むことができる。例えば、別途のスマート機器として、スマートフォン（Ｓｍａｒｔ ｐｈｏｎｅ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、タブレット（Ｔａｂｌｅｔ）、ウェアラブルデバイス（Ｗｅａｒａｂｌｅ Ｄｅｖｉｃｅ、例えば、ウォッチ型端末機（Ｓｍａｒｔｗａｔｃｈ）、グラス型端末機（Ｓｍａｒｔ Ｇｌａｓｓ）、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）などを含む）及び各種ＩｏＴ（Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）端末のような多様な端末を含むことができるが、これ限定するものではない。
【0107】
このような構造を有する本発明の一実施例に係る関節の状態を予測および診断できるサービス提供システムの動作は、次の通りである。図３は本発明の一実施例に係る関節の状態を予測および診断できるサービス提供方法を説明するための図面であり、図４は図３に図示された標準データを生成する段階を説明するための図面であり、図５は図４に図示された基礎撮影情報を説明するための図面であり、図６は図４に図示された標準座標情報の抽出およびラベリング段階を説明するための図面であり、図７は図３に図示された結果データを生成する段階を説明するための図面であり、図８は図７に図示された正常な足取りの高さの差を説明するための図面であり、図９は図７に図示された異常な足取りの高さの差を説明するための図面であり、図１０は図７に図示された正常なフレーム数を説明するための図面であり、図１１は図７に図示された異常なフレーム数を説明するための図面であり、図１２は図７に図示された正常な足の角度を説明するための図面であり、図１３は図７に図示された異常な足の角度を説明するための図面であり、図１４は図７に図示された前足の座標情報を通じて首と尻尾の動きの正常および異常状態を説明するための図面であり、図１５は図７に図示された後足の座標情報を通じて首と尻尾の動きの正常および異常状態を説明するための図面であり、図１６は図７に図示された前足および後足の座標情報を通じて首と尻尾の動きの正常および異常状態を説明するための図面である。
【0108】
まず、本発明の実施例で伴侶動物１１を子犬に限定して開示したが、これに限定しない。
【0109】
図３に図示された通り、管理サーバー２０は標準データを生成することができる（Ｓ１０）。
【0110】
具体的には、管理サーバー２０は図４に図示された通り、複数の伴侶動物１１から基礎情報を獲得することができる（Ｓ１００）。ここで、基礎情報には保護者情報、遺棄情報、病院記録情報、固有識別番号、犬種、猫種、性別、年齢、体重、中性化の有無などが含まれ得るが、これに限定しない。
【0111】
実施例により、管理サーバー２０は別途の移動端末機を利用して伴侶動物１１の基礎情報を入力することができる。
【0112】
次に、管理サーバー２０は基礎情報に基づいて伴侶動物１１の動きを撮影した基礎撮影情報を獲得することができる（Ｓ１１０）。
【0113】
実施例により、管理サーバー２０は別途の撮影道具またはスキャナを利用して伴侶動物１１の基礎撮影情報を獲得することができる。
【0114】
次に、管理サーバー２０は基礎撮影情報に含まれた伴侶動物１１を客体として認識してバウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）を設定することができる（Ｓ１２０）。
【0115】
具体的には、基礎撮影情報に含まれた伴侶動物１１を背景と分離して客体として認識した後、認識された客体を中心にバウンダリ領域を検出してフレーム別にバウンディングボックスを設定することができる。すなわち、基礎撮影情報に含まれた伴侶動物１１を除いた個体を除外させることによって、個体によって発生し得る誤探知を防止して伴侶動物１１の動きをさらに正確に判断することができる。
【0116】
例えば、図５を参照すると、管理サーバー２０は認識された客体を中心にバウンディングボックスＡを設定することができる。
【0117】
次に、管理サーバー２０はバウンディングボックスＡ内に位置する客体の動きの移動方向を設定することができる（Ｓ１３０）。
【0118】
例えば、図５を参照すると、管理サーバー２０は動画ファイルに基づいて左側から右側に客体の動きの移動方向を設定することができる。
【0119】
すなわち、一方向に認識された客体の動きを設定することによって、客体の関節状態をさらに正確に判断することができる。
【0120】
次に、管理サーバー２０はバウンディングボックスＡ内に位置する客体の身体部位に対する標準座標情報Ｂを抽出およびラベリングすることができる（Ｓ１４０）。
【0121】
例えば、図６を参照すると、管理サーバー２０は認識された客体の身体部位に対する標準座標情報Ｂを抽出した後にラベリングし（図６（ａ）参照）、これに対応する標準座標情報ＢをＸＭＬ形態で保存することができる（図６（ｂ）参照）。
【0122】
本実施例で、動画ファイルは伴侶動物１１が歩く１０秒以上の一貫した方向に撮影された動画ファイルであり得る。
【0123】
実施例により、管理サーバー２０はフレーム別に客体の身体部位に対する標準座標情報Ｂを抽出することができる（図６（ｃ）参照）。
【0124】
次に、管理サーバー２０は抽出された標準座標情報Ｂを利用して標準派生情報を生成することができる（Ｓ１５０）。
【0125】
この時、抽出された標準座標情報ＢはＸＭＬ形式の座標で抽出され、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）の複数の畳み込み層（Ｃｏｎｖｏｌｕｔｉｏ ｌａｙｅｒ）のうち姿勢推定モデル（Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ）に入力のためのファイルに変換された後、座標異常値検証段階および補正および標準化のための前処理段階が先行され得る。
【0126】
具体的には、管理サーバー２０は客体の右足と左足間の足取りの高さ、客体の動きの変化に対応するフレーム数、客体の少なくとも一つ以上の足の角度および客体の首と尻尾の動きのうち少なくとも一つの変数に対する標準派生変数を生成して標準データを生成することができる。
【0127】
次に、標準派生変数に基づいて標準媒介変数を設定した後、姿勢推定モデルに入力して標準関節データを獲得し、獲得した標準関節データに対応する標準結果データを生成した後（Ｓ１６０）、標準結果データを反復学習して生成された標準データを検証して標準データを生成することができる（Ｓ１７０、Ｓ１８０）。
【0128】
すなわち、管理サーバー２０は標準状態情報と標準結果データをマッチングして、ＣＮＮアルゴリズムに基づいて反復学習することによって、適合性を検証して標準データを生成することができる。
【0129】
次に、保護者が伴侶動物１１の現状または疾患状態に対する診断を要請する場合、使用者端末機１０は伴侶動物１１の動きに対する撮影映像データを獲得することができる（Ｓ１２）。
【0130】
実施例により、別途の撮影装備を通じて伴侶動物１１の動きに対する撮影映像データを獲得することができる。
【0131】
この時、撮影映像データは関節の状態を予測および診断が必要な対象体である伴侶動物１１が歩く１０秒以上の一貫した方向に撮影された動画ファイル最小１０秒以上の動画であり得る。
【0132】
次に、管理サーバー２０は標準データに基づいて撮影映像データに対応する結果データを生成することができる（Ｓ１４）。
【0133】
具体的には、図７を参照すると、管理サーバー２０は撮影映像データに含まれた動画を前処理して補正されたイメージをフレーム別に抽出することができる（Ｓ２００）。
【0134】
具体的には、管理サーバー２０は撮影映像データに含まれた、自動で明るさ、鮮明度などが補正された動画から関節分析のためのフレーム別イメージ情報を抽出することができる。
【0135】
次に、管理サーバー２０はフレーム別イメージ情報を利用して伴侶動物１１の予測座標情報を獲得することができる（Ｓ２１０）。
【0136】
具体的には、管理サーバー２０はフレーム別イメージ情報に含まれた伴侶動物１１を背景と分離して客体として認識した後、認識された客体を中心にバウンダリ領域を検出してフレーム別にバウンディングボックスを設定し、設定されたバウンディングボックス内に位置する客体の身体部位に対するフレーム別予測座標情報を抽出することができる。
【0137】
実施例により、管理サーバー２０は客体移動方向に基づいて予測座標情報をラベリングすることができる。
【0138】
本実施例で、身体部位は足、首、尻尾など伴侶動物１１の身体部位を含むことができるが、これに限定しない。
【0139】
次に、管理サーバー２０は抽出された予測座標情報を利用して派生変数（Ｄｅｒｉｖｅｄ Ｖａｒｉａｂｌｅ）を生成し、生成された派生変数を姿勢推定モデルに入力して予測関節データを抽出することができる（Ｓ２２０）。
【0140】
具体的には、管理サーバー２０は客体の右足と左足間の足取りの高さ、客体の動きの変化に対応するフレーム数、客体の少なくとも一つ以上の足の角度および客体の首と尻尾の動きのうち少なくとも一つの変数に対する派生変数を生成して予測関節データを抽出することができる。
【0141】
具体的には、管理サーバー２０は客体の右足と左足間の足取りの高さの差を分析して標準データを基準として設定された平均値以上の高さの差が発生する場合（Ｓ２３０）、伴侶動物１１の関節の異常があると判断された結果データを生成することができる（Ｓ２７０）。
【0142】
例えば、図８に図示された通り、伴侶動物１１の前の姿から撮影した場合（図８（ａ）参照）、伴侶動物１１の横の姿から撮影した場合（図８（ｂ）参照）または伴侶動物１１の後姿から撮影した場合（図８（ｃ）参照）、これに対応する予測座標情報を通じて左足と右足の高さの差が少なく発生すれば、正常状態と判断して伴侶動物１１の関節の異常がないと判断された結果データを生成することができる。
【0143】
これとは異なり、図９に図示された通り、伴侶動物１１の前の姿から撮影した場合（図９（ａ）参照）、伴侶動物１１の横の姿から撮影した場合（図９（ｂ）参照）または伴侶動物１１の後姿から撮影した場合（図９（ｃ）参照）、これに対応する予測座標情報を通じて左足と右足の高さの差が大きく発生すれば、異常状態と判断して伴侶動物１１の関節に異常があると判断された結果データを生成することができる。
【0144】
次に、管理サーバー２０は客体の足取りのフレーム数の差を分析して標準データを基準として設定された平均値以上のフレームの数が発生する場合（Ｓ２４０）、伴侶動物１１の関節の異常があると判断された結果データを生成することができる（Ｓ２７０）。
【0145】
例えば、図１０に図示された通り、伴侶動物１１の前の姿から撮影した場合（図１０（ａ）参照）、伴侶動物１１の横の姿から撮影した場合（図１０（ｂ）参照）または伴侶動物１１の後姿から撮影した場合（図１０（ｃ）参照）、これに対応する予測座標情報を通じてフレームの数の差が少なく発生すれば、正常状態と判断して伴侶動物１１の関節の異常がないと判断された結果データを生成することができる。
【0146】
これとは異なり、図１１に図示された通り、伴侶動物１１の前の姿から撮影した場合（図１１（ａ）参照）、伴侶動物１１の横の姿から撮影した場合（図１１（ｂ）参照）または伴侶動物１１の後姿から撮影した場合（図１１（ｃ）参照）、これに対応する予測座標情報を通じてフレームの数の差が大きく発生すれば、異常状態と判断して伴侶動物１１の関節に異常があると判断された結果データを生成することができる。
【0147】
次に、管理サーバー２０は客体の動きの変化に対応する足の角度の差を分析して標準データを基準として設定された平均値以上の足の角度差が発生する場合（Ｓ２５０）、伴侶動物１１の関節の異常があると判断された結果データを生成することができる（Ｓ２７０）。
【0148】
例えば、図１２に図示された通り、伴侶動物１１の左足の前の姿から撮影した場合（図１２（ａ）参照）または伴侶動物１１の右足の前の姿から撮影した場合（図１２（ｂ）参照）、これに対応する予測座標情報を通じて足の角度の差が平均１～３°であれば、正常状態と判断して伴侶動物１１の関節の異常がないと判断された結果データを生成することができる。
【0149】
これとは異なり、図１３に図示された通り、伴侶動物１１の左足の前の姿から撮影した場合（図１３（ａ）参照）または伴侶動物１１の右足の前の姿から撮影した場合（図１３（ｂ）参照）、これに対応する予測座標情報を通じて足の角度の差が平均１３～１６°であれば、異常状態と判断して伴侶動物１１の関節に異常があると判断された結果データを生成することができる。
【0150】
次に、管理サーバー２０は客体の首および尻尾の動きを分析して動きの変化に対応する座標値の差を分析して標準データを基準として設定された平均値以上のＭＳＥ（Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ）が発生する場合（Ｓ２６０）、伴侶動物１１の関節の異常があると判断された結果データを生成することができる（Ｓ２７０）。
【0151】
例えば、伴侶動物１１の前足を撮影した場合、これに対応する予測座標情報を通じてＭＳＥ値が２０以上である場合に異常と判断し（図１４（ａ）参照）、ＭＳＥ値が１５以下である場合に正常と判断して（図１４（ｂ）参照）、これに対応する結果データを生成することができる。
【0152】
また、伴侶動物１１の後足を撮影した場合、これに対応する予測座標情報を通じてＭＳＥ値が２５以上である場合に異常と判断し（図１５（ａ）参照）、ＭＳＥ値が１０以下である場合に正常と判断して（図１５（ｂ）参照）、これに対応する結果データを生成することができる。
【0153】
また、伴侶動物１１の前足および後足を撮影した場合、これに対応する予測座標情報を通じて尻尾のＭＳＥ値が６以上であり、首のＭＳＥ値が８以上である場合に異常と判断し（図１６（ａ）参照）、尻尾のＭＳＥ値が４以下であり、首のＭＳＥ値が４以下である場合に正常と判断して（図１６（ｂ）参照）、これに対応する結果データを生成することができる。
【0154】
次に、使用者端末機１０は管理サーバー２０から撮影映像データに対応する結果データを受信することができる（Ｓ１６）。
【0155】
次に、サービス連係端末機３０は標準データに基づいて病院情報を提供することができる（Ｓ１８）。
【0156】
ここで、病院情報を提供する段階は以前に遂行され得るが、これに限定するものではない。
【0157】
次に、管理サーバー２０は病院情報に基づいて動物病院連係情報を生成することができる（Ｓ２０）。
【0158】
ここで、動物病院連係情報を生成する段階は以前に遂行され得るが、これに限定するものではない。
【0159】
次に、管理サーバー２０は動物病院連係情報に基づいて結果データに対応する推薦情報を生成して使用者端末機１０に伝送することができる（Ｓ２２）。
【0160】
次に、管理サーバー２０は予約管理情報を生成することができる（Ｓ２４）。
【0161】
例えば、管理サーバー２０はオーダーメード情報により生成された予約要請信号を使用者端末機１０から受信し、予約要請信号に対応する予約管理情報をサービス連係端末機３０から受信して使用者端末機１０に伝送することができる。
【0162】
次に、サービス連係端末機３０は伴侶動物１１に対する診療内訳情報が含まれた病院記録情報を生成して共有することができる（Ｓ２６）。
【0163】
この時、病院記録情報は使用者端末機１０および管理サーバー２０に伝送され得る。
【0164】
最後に、管理サーバー２０は結果データに対応してリアルタイムで標準データをアップデートすることができる（Ｓ２８）。
【0165】
本発明の実施例に関連して説明された方法またはアルゴリズムの段階は、ハードウェアで直接具現されるか、ハードウェアによって実行されるソフトウェアモジュールで具現されるか、またはこれらの結合によって具現され得る。ソフトウェアモジュールはＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、着脱型ディスク、ＣＤ－ＲＯＭまたは本発明が属する技術分野で広く知られている任意の形態のコンピュータ読み取り可能記録媒体に常駐してもよい。
【0166】
以上、添付された図面を参照して本発明の実施例を説明したが、本発明が属する技術分野の通常の技術者は本発明がその技術的思想や必須の特徴を変更することなく他の具体的な形態で実施され得ることが理解できる。したがって、以上で記述した実施例はすべての面で例示的なものであり、制限的ではない。
【符号の説明】
【0167】
１：関節の状態を予測および診断できるサービス提供システム
１１：伴侶動物
１０：使用者端末機
２０：管理サーバー
３０：サービス連係端末機
４０：管理者端末機
１１：伴侶動物
１０：使用者端末機
２０：管理サーバー
３０：サービス連係端末機
４０：管理者端末機
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【国際調査報告】