特表 2024-514451 授乳指導方法、デバイスおよびそのアプリケーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-02

(54)【発明の名称】授乳指導方法、デバイスおよびそのアプリケーション

(51)【国際特許分類】

   G16H 10/00 20180101AFI20240326BHJP

【ＦＩ】

G16H10/00

【審査請求】未請求

【予備審査請求】有

(21)【出願番号】P 2023558701

(86)(22)【出願日】2021-04-01

(85)【翻訳文提出日】2023-10-18

(86)【国際出願番号】 CN2021084928

(87)【国際公開番号】W WO2022205305

(87)【国際公開日】2022-10-06

(81)【指定国・地域】

(71)【出願人】

【識別番号】523362504

【氏名又は名称】ニュートリシア・アーリー・ライフ・ニュートリション（シャンハイ）・カンパニー，リミテッド

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】リュー、モンジン

(72)【発明者】

【氏名】グオ、ビンジー

(72)【発明者】

【氏名】ワン、ジャンナン

(72)【発明者】

【氏名】フー、イー

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA15

(57)【要約】

授乳指導のための方法は、少なくとも１つの画像をキャプチャすることと、少なくとも１つの画像を表示することと、授乳のための複数のルールに従って、少なくとも１つの画像内の人の姿勢が正しいかどうかを識別することと、複数のルールのそれぞれが満たされるまで、人の姿勢を調整するように人に動的に通知することと、授乳が開始したことを示すためにタイマーを開始することと、授乳中に複数のルールに従って人の姿勢を調整するように人の姿勢をさらに識別し、人に通知することと、授乳が終了したときにタイマーを終了して記録することとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

授乳指導のための方法であって、
少なくとも１つの画像をキャプチャすることと、
前記少なくとも１つの画像を表示することと、
授乳のための複数のルールに従って、前記少なくとも１つの画像内の人の姿勢が正しいかどうかを識別することと、
前記複数のルールのそれぞれが満たされるまで、前記人の姿勢を調整するように前記人に動的に通知することと、
タイマーを開始することと、
授乳中に前記複数のルールに従って前記人の姿勢を調整するように前記人の姿勢をさらに識別し、前記人に通知することと、
授乳が終了したときに、前記タイマーを終了して記録することとを含む、方法。

【請求項2】

授乳タイプを識別すること、または、例えば、前記人が座った授乳位置にあるか横向きに寝る授乳位置にあるかなど、前記授乳タイプを示すための入力を受信することをさらに含む、請求項１に記載の方法。

【請求項3】

前記少なくとも１つの画像を外部デバイスに送ることと、
前記外部デバイスから前記人の姿勢の識別結果を受信することをさらに含み、または
前記人の姿勢を識別することは、電子デバイスによって実行される、請求項１に記載の方法。

【請求項4】

前記複数のルールに従って前記人の姿勢を識別することは、
前記複数のルールの優先順位に従って識別することをさらに含み、および／または、
前記複数のルールは、前記人の少なくとも１つの標準姿勢と、赤ちゃんの少なくとも１つの標準姿勢との両方を含む、請求項１に記載の方法。

【請求項5】

前記人の姿勢を調整するように前記人に動的に通知することのうちの少なくとも１つは、
満たされていない前記複数のルールの優先順位に従って前記人に通知することをさらに含み、および／または、
前記通知することは、音声、テキスト、画像、アニメーション、およびビデオのうちの少なくとも１つの方法を介して行われる、請求項３に記載の方法。

【請求項6】

前記人の姿勢を調整するように前記人に動的に通知することのうちの少なくとも１つは、
満たされていないルールの中で最も高い優先度を有するルールを識別することと、
前記最も高い優先度を有するルールのみを一度に前記人に通知することと、および／または、
特定の期間および／または予め規定された回数の通知の後に、前記複数のルールのうちの１つが依然として満たされていない場合、満たされていないルールを無視することとをさらに含む、請求項５に記載の方法。

【請求項7】

前記少なくとも１つの画像に赤ちゃんが写っているかどうかを識別することと、
赤ちゃんが識別されない場合、人工的な赤ちゃんを表示し、コーチングモードに入ることと、
赤ちゃんが識別された場合、授乳モードに入ることとをさらに含み、および／または、
前記コーチングモードでは、タイマーは始動されない、請求項１から６のうちのいずれか一項に記載の方法。

【請求項8】

前記複数のルールに従って、前記少なくとも１つの画像内の前記赤ちゃんの姿勢が正しいかどうかを識別することをさらに含む、請求項１から７のうちのいずれか一項に記載の方法。

【請求項9】

前記人および／または前記赤ちゃんの姿勢を識別することは、
前記人および／または前記赤ちゃんの少なくとも１つのキーポイントおよび／または少なくとも１つのキーエリアを識別することと、
前記識別された少なくとも１つのキーポイントおよび／または少なくとも１つのキーエリアの位置を前記複数のルールと比較することとをさらに含み、
前記複数のルールは、正しい授乳状態にある前記人および／または赤ちゃんのキーポイントおよび／またはキーエリア情報を含む、請求項１から８のうちのいずれか一項に記載の方法。

【請求項10】

授乳タイプ、授乳する乳房が左であるか右であるか、および赤ちゃんが完全に識別されるか、部分的に識別されるか、または識別されないかのうちの少なくとも１つに応じて、授乳シナリオを識別することをさらに含み、および／または、
前記複数のルールは、異なるシナリオにおけるルールの異なるセットを含む、請求項１から９のうちのいずれか一項に記載の方法。

【請求項11】

前のシナリオが変更されたシナリオに切り替わる場合、変更シナリオがある期間よりも長く識別されるとき、前記前のシナリオによる前記ルールのセットは、前記変更されたシナリオによる前記ルールのセットに切り替わる、請求項１０に記載の方法。

【請求項12】

前記赤ちゃんの１つ以上のキーポイントおよび／またはキーエリアが識別されるが、前記キーポイントおよび／またはキーエリアの全てが識別されないときに、前記赤ちゃんが部分的に識別される場合、前記複数のルールは、前記赤ちゃんの前記識別されないキーポイントおよび／またはキーエリアに関連するルールを除外する、請求項１０に記載の方法。

【請求項13】

前記人の姿勢および／または前記赤ちゃんの姿勢の前記識別の前および／または間に、前記人および／または前記赤ちゃんのガイドアウトラインをディスプレイ上に表示することをさらに含む、請求項１から１２のうちのいずれか一項に記載の方法。

【請求項14】

前記複数のルールは、前記人の同じ側の肩と乳房との間の垂直基準距離に基づく、請求項１から１３のうちのいずれか一項に記載の方法。

【請求項15】

前記複数のルールは、前記人の乳房間の水平基準距離、または前記人の肩間の水平基準距離に基づく、請求項１４に記載の方法。

【請求項16】

カメラと、ディスプレイと、請求項１から１５のうちのいずれか一項に記載の方法を実行するプロセッサと、を備える電子デバイス。

【請求項17】

請求項１から１５のうちのいずれか一項に記載の方法を実行するために少なくとも１つのプロセッサによって実行される命令を記憶するように構成された記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

[0001]本発明は、授乳指導方法、デバイスおよびそのアプリケーションに関する。

【背景技術】

【0002】

[0002]covid後において、半分の母親は、赤ちゃんに最良の免疫性を与えるために、より長く授乳することを意図している。しかしながら、最初の６ヶ月間に授乳を継続するのは２９％の母親のみである。授乳中、母親の５２％は十分な母乳を有しておらず、一方、母親の２７％は授乳に痛みがあると考える。これらの問題を解決するか、または少なくとも緩和するのを助けることが重要である。さらに、赤ちゃんに母乳を与えるための正しい方法を母親に教えるための個人的なコーチをすべての母親が有しているわけではなく、これは、赤ちゃんがミルクを得ることおよび／または母親がミルクを供給することを困難にするかもしれない。したがって、母親および／または赤ちゃんの正しい授乳姿勢のための指導方法、デバイスおよびアプリケーションが必要とされる。

【0003】

[0003]本発明は、妊娠中または授乳中の女性が自宅で自分の授乳姿勢を直接学習および修正するのを助け、それによって自分の授乳経験を改善する。

【発明の概要】

【0004】

[0004]本発明は、授乳指導方法、デバイスおよびそのアプリケーションに関する。

【0005】

[0005]本発明の実施形態によれば、授乳指導のための方法は、少なくとも１つの画像をキャプチャすることと、少なくとも１つの画像を表示することと、授乳のための複数のルールに従って少なくとも１つの画像内の人の姿勢が正しいかどうかを識別することと、複数のルールのそれぞれが満たされるまで人の姿勢を調整するように人に動的に通知することと、タイマーを開始することと、授乳中に複数のルールに従って人の姿勢を調整するように人の姿勢をさらに識別し、人に通知することと、授乳が終了したときにタイマーを終了して記録することとを含む。

【0006】

[0006]本発明の実施形態によれば、電子デバイスは、カメラと、ディスプレイと、本発明の方法を実行するプロセッサとを備える。

【0007】

[0007]本発明の実施形態によれば、記憶媒体およびプログラム／ソフトウェアは、本発明の方法を実行するために少なくとも１つのプロセッサによって実行される命令を記憶するように構成される。

【図面の簡単な説明】

【0008】

[0008]本発明を、添付の図面を参照して、以下により詳細に議論する。

【図1】[0009]図１は、授乳指導のための方法を示す。

【図2】[0010]図２は、赤ちゃんが識別されないときの授乳指導のための方法を示す。

【図3】[0011]図３は、授乳指導のためのデバイスを示す。

【図4】[0012]図４は、座った授乳位置におけるガイドアウトラインを示す。

【図5】[0013]図５は、横向きに寝る授乳位置におけるガイドアウトラインを示す。

【発明を実施するための形態】

【0009】

[0014]本開示の実施形態が、添付の図面を参照して以下で説明される。しかしながら、本開示の実施形態は、特定の実施形態に限定されるものではなく、本開示のすべての修正、変更、同等のデバイスおよび方法、ならびに／または代替実施形態を含むものとして解釈されるべきである。

【0010】

[0015]本明細書で使用される「有する」、「有してもよい」、「含む」、および「含んでもよい」という用語は、対応する特徴（例えば、数値、機能、動作、または部品などの要素）の存在を示し、追加の特徴の存在を排除しない。

【0011】

[0016]本明細書で使用される「ＡまたはＢ」、「Ａまたは／およびＢのうちの少なくとも１つ」、または「Ａまたは／およびＢのうちの１つ以上」という用語は、それらと共に列挙された項目の全ての可能な組み合わせを含む。例えば、「ＡまたはＢ」、「ＡおよびＢのうちの少なくとも１つ」、または「ＡまたはＢのうちの少なくとも１つ」は、（１）少なくとも１つのＡを含む、（２）少なくとも１つのＢを含む、または（３）少なくとも１つのＡおよび少なくとも１つのＢの両方を含むことを意味する。

【0012】

[0017]本明細書で使用される「第１」および「第２」などの用語は、対応する要素の順序および／または重要性にかかわらず、様々な要素を修正することができ、対応する要素を限定しない。これらの用語は、ある要素を別の要素と区別するために使用されてもよい。例えば、第１の印刷形態と第２の印刷形態とは、順序や重要度に関わらず異なる印刷形態を示していてもよい。例えば、本発明の範囲を逸脱することなく、第１の要素は第２の要素と呼ばれることもあり、同様に、第２の要素は第１の要素と呼ばれることもある。

【0013】

[0018]ある要素（たとえば、第１の要素）が別の要素（たとえば、第２の要素）に「（動作可能にまたは通信可能に）結合される」または「接続される」とき、その要素は別の要素に直接結合されてもよく、その要素と別の要素との間に介在要素（たとえば、第３の要素）があってもよいことが理解されよう。これとは反対に、ある要素（例えば、第１の要素）が別の要素（例えば、第２の要素）と「直接結合」または「直接接続」されるとき、その要素と別の要素との間に他の介在要素（例えば、第３構の要素）がないことが理解されよう。

【0014】

[0019]本明細書で使用される「ように構成される（または設定される）」という表現は、文脈に従って、「～に適している」、「～する能力を有する」、「～するように設計される」、「～するように適合される」、「～するように作製される」、または「～することができる」と互換的に使用されてもよい。「構成される（設定される）」という用語は、必ずしもハードウェアレベルで「特に設計される」ことを意味しない。代わりに、「…するように構成された装置」という表現は、装置が、あるコンテキストにおいて他のデバイスまたは部分とともに「…することが可能である」ことを意味してもよい。

【0015】

[0020]本開示の様々な実施形態を説明する際に使用される用語は、特定の実施形態を説明するためのものであり、本開示を限定することを意図するものではない。本開示において使用されるように、単数形は、そうではないと明確に示されていない限り、複数形も含むように意図されている。本明細書で使用される技術的または科学的な用語を含む全ての用語は、別途に定義されない限り、当該技術分野における当業者によって一般的に理解されるものと同一の意味を有する。一般的に使われる辞書に定義された用語は、関連技術の文脈上有する意味と同一または類似の意味を有するものと解釈すべきであり、本明細書で明確に定義しない限り、理想的または誇張された意味を有するものと解釈すべきではない。場合によっては、本開示で定義された用語であっても、本開示の実施形態を排除するものとして解釈すべきではない。

【0016】

[0021]図１は、授乳指導のための方法を示す。図１に示されるいくつかのステップは省略されてもよく、ステップの順序は異なる順序であってもよい。

【0017】

[0022]ステップ１０１において、少なくとも１つの画像（本明細書では「画像」および「複数の画像」と互換的に使用される）がキャプチャされる。これは、別個のカメラ、または電子デバイス、たとえば、モバイルフォン、タブレット、ラップトップ、デスクトップ、ＴＶなどの中の統合カメラを介してであってもよい。画像は、連続的にキャプチャされてもよいし、予め定められた期間ごとに１枚（例えば、１秒ごとに１枚）キャプチャされてもよい。

【0018】

[0023]このステップの前に、ユーザ（例えば、このアプリケーションでは、ユーザは母親であってもよく、または母親を補助する他の誰かであってもよい）は、電子デバイス上にインストール（および／または記憶）された授乳指導アプリケーション（例えば、スマートフォン上のアプリ）を開始してもよい。次いで、デバイスは、使用可能なカメラがあるかどうかを識別する（たとえば、少なくとも１つのプロセッサによって実行される）ことができる。使用可能なカメラが識別されない場合、方法は、停止するか、またはデバイス上で少なくとも１つ以上の命令（例えば、テキスト、画像、ビデオ、オーディオ、アニメーション等）を再生して、一般的な命令を母親に与える。

【0019】

[0024]使用可能なカメラが検出される場合、ユーザは、カメラを使用することに同意するように求められてもよい。例えば、ユーザがカメラの使用に同意することを示すように入力をするとき、例えば図１および図２において、後のステップが実行される。そうでなければ、識別されたカメラがない場合と同じステップが実行される。

【0020】

[0025]ステップ１０１の前および／または間に、ユーザは、いくつかの一般的なガイダンス、たとえば、「カメラ／デバイスまである距離（たとえば、０．５から３メートル、または１メートル）を保持してください」、「本方法は、画像をキャプチャする前に５秒間カウントダウンを行います」、「リラックスして快適に座って／横になってください」などで通知されてもよい。

【0021】

[0026]ステップ１０２において、画像は、デバイスのスクリーン／ディスプレイ上に、例えば、別個のディスプレイ／モニタ／スクリーン上に、または例えば、携帯電話、タブレット、ラップトップなどの一体型ディスプレイユニット上に表示される。キャプチャされた画像によって形成される単一の画像またはビデオ、たとえば、カメラによってキャプチャされたライブストリームが表示されてもよい。

【0022】

[0027]画像は、母親が自分および／または赤ちゃんの姿勢を容易に調整するのに役立つ鏡像として表示されてもよい。

【0023】

[0028]本明細書では、「赤ちゃん」は、本物の赤ちゃんまたは偽の赤ちゃん、たとえば、人形、毛布の巻物などであってもよいことに留意されたい。授乳を練習するために偽物の赤ちゃんが母親によって使用されてもよい。

【0024】

[0029]ステップ１０３において、授乳のための複数のルールに従って、画像のうちの１つ以上における人（たとえば、母親）の姿勢が正しいかどうかを識別する。画像は、ステップ１０３を実行する瞬間にキャプチャされれた（および／または表示された）画像または前の画像であってもよい。人は、アプリケーションを試すことを望む母親または任意の他の人（例えば、父親）であってもよい。任意選択的に、アプリケーションは、人の性別を識別してもしなくてもよい。本明細書では、用語「母親」は、用語「人」と互換的に使用される。

【0025】

[0030]このステップは、人（たとえば、母親）が画像中に現れるかどうか、および／または人が一般的な授乳姿勢にあるかどうかを識別するための初期ステップ（省略されてもよい）を含んでもよい。画像に人が写っているかどうかを識別するステップは省略されてもよく、人が一般的な授乳姿勢にあるかどうかを識別するステップも同様に省略されてもよい。画像内に人が現れない（例えば、人の身体部分が識別されない）場合、デバイスは、例えば、音声、画像、映画、または任意の他の通知方法のうちの少なくとも１つを介して、画像中にあるようにするために、カメラまたは母親の位置を調整するようにユーザに通知してもよい。

【0026】

[0031]画像中に人が現れることが識別された（たとえば、人の部分のうちの１つ以上があることが識別された）場合、デバイスは、人（たとえば、母親）が一般的な授乳姿勢にあるかどうかをさらに識別してもよい。例えば、図４と５に示されるようなガイドアウトラインが表示されてもよく、ユーザは授乳タイプを入力するように求められる。授乳タイプは、母親および／または赤ちゃんの一般的な授乳位置であり、例えば、座った授乳位置、横向きに寝る授乳位置、または任意の他の授乳位置であってもよい。例えば、図４は、座った授乳位置のためのガイドアウトラインを示し、図５は、横向きに寝る授乳位置のためのガイドアウトラインを示す。あるいは、画像を分析することにより自動的に授乳タイプを識別してもよい。母親は、一般的な授乳姿勢を満たすために、（ユーザによって識別または選択／入力された）ガイドアウトラインに従って姿勢をとるようにデバイスによって通知されてもよい。

【0027】

[0032]一般的な授乳姿勢が満たされていることを識別することは、基本フィルタリングルールのうちの少なくとも１つが母親および／または赤ちゃんの姿勢によって満たされていることを識別することを含んでいてもよい。

【0028】

[0033]関連する姿勢が、予め規定されたされた期間以上の間、または予め規定されたされた期間におけるしきい値期間以上の間、ルールに従っている場合、ルールが満たされていると見なされてもよい。例えば、姿勢が合計５秒間ルールに従っている場合にルールは満たされているとみなされてもよく、または、姿勢が合計５秒間のうち３秒以上ルールに従っている場合に満たされているとみなされてもよい。ルールは、以下を含んでいてもよい：

【0029】

[0034]１．母親の腰は画像内にあるはずである。そうでない場合、母親は、自分の腰を画像に含めるように姿勢を調整するように通知されてもよい。

【0030】

[0035]２．母親の手首、肘および肩が画像内にあるはずである。母親は、それに応じて自分の姿勢を調整するように通知されてもよい。

【0031】

[0036]３．母親はカメラに近づきすぎず、カメラの方を向いていない。例えば、彼女が座っている授乳位置で身体の側面を示していない場合、彼女はカメラに直接向いていない。これは、母親の肩幅および耳の距離、および／または画像内の腕の長さに従って決定されてもよい。例えば、画像内の肩幅が耳の距離の１．２倍より短い場合、デバイスは、母親がカメラに近すぎると決定する。母親は、カメラの方に向き、より長い距離を保つように通知されてもよい。

【0032】

[0037]４．カメラを高くし過ぎたり低くし過ぎたりしない。例えば、座った授乳位置では、デバイスは、画像内の母親の肩幅および腰幅に従ってこれを決定する。例えば、肩幅が腰幅の１．２倍より大きい場合、カメラは高すぎ、および／または腰幅が肩幅の１．５倍より大きい場合、カメラは低すぎる。母親は、カメラをより高くまたはより低くするように通知されてもよい。

【0033】

[0038]５．母親の肘の少なくとも一方または両方は、カメラに近すぎないように、高すぎないように、および／または母親の身体から遠すぎないようにする。これは、４と同様の方法により、画像における基準距離としての肩幅に応じて決定されてもよい。

【0034】

[0039]上述の母親の身体部分は、キーポイントおよび／またはキーエリアとして認識され、抽象化されてもよい。キーポイントは、関係する身体部分の中心点上の位置、または関係する身体部分の側点上の位置、または関係する身体部分のランダムな位置であってもよい。例えば、キーポイントは、右手、右手首、右肘、右肩、鼻、左掌、左手首、左肘、左肩、左乳房、右乳房、左乳首、右乳首等のうちの少なくとも１つを含んでもよい。身体のキーポイントの認識／識別は、人工知能および／または画像再編成テクノロジーを介したものであってもよい。キーエリアは、例えば、背中エリア、頭エリア、右手エリア、右手首エリア、右肘エリア、右肩エリア、鼻エリア、左掌エリア、左手首エリア、左肘エリア、左肩エリア、左乳房エリア、右乳房エリア、左乳首エリア、右乳首エリア等の、関係する身体部分のエリアであってもよい。

【0035】

[0040]手のキーポイントは、手の甲の中心点であってもよく、手首のキーポイントは、手と前膊（forearm）との間の線の中間点であってもよく、肘のキーポイントは、前膊と上腕との接合点であってもよく、肩のキーポイントは、上腕と肩との接合点であってもよく、頭部のキーポイントは、鼻（たとえば、母親の場合）またはイヤドロップ（ear drop）（たとえば、赤ちゃんの場合）であってもよく、胸のキーポイントは、乳首位置であってもよく、および／または母親の肩幅および上半身長さに従って推定されてもよく、腰のキーポイントは、腰骨の中間点または２つのエッジ点のうちの１つであってもよく、首のキーポイントは、上半身と頭部との接合点であってもよい。

【0036】

[0041]最初のステップでは、例えば、ユーザの入力および／または画像の分析を介して、授乳中の乳房（例えば、左乳房または右乳房）も識別されてもよい。例えば、授乳中の乳房は、認識された赤ちゃんの頭部方向に従って決定されてもよい（例えば、授乳中の乳房は、赤ちゃんの頭部の同じ側にある）。この場合、図４および５に示されるガイドアウトラインは、それに応じて調整されてもよく、例えば、識別された授乳乳房に従って反映されてもよい。赤ちゃんは、本物の赤ちゃんまたは偽物の赤ちゃん（例えば、人形）であってもよいことに留意されたい。

【0037】

[0042]初期ステップ中に、母親が自分の姿勢および／または赤ちゃんの姿勢をガイドアウトラインに従って調整し、基本フィルタリングルールを満たしたとき、後のステップが実行されてもよい。最初のステップは省略されてもよく、デバイスは、ステップ１０２の後にステップ１０３を直接実行してもよい。

【0038】

[0043]ステップ１０３は、たとえば、キャプチャされた画像、または少なくとも１つのディスプレイおよび／もしくはキャプチャされた画像のサブセットを分析することによって、授乳のための複数のルールに従って、母親が正しい姿勢を有するかどうかを識別する。例えば、キャプチャおよび／または表示されたビデオの各秒内に１つの画像のみが分析されてもよい（例えば、より多くの画像を表示するが、各秒内に１つの画像のみを分析する）。

【0039】

[0044]このステップは、母親および赤ちゃんの身体上のキーポイント／キーエリアを介して母親および／または赤ちゃんの姿勢を識別するステップを含んでいてもよい。

【0040】

[0045]ガイドアウトラインは、このステップおよびステップ１０３を通して依然として表示されてもよい。識別されたキーポイント／エリアはまた、表示されてもよく、または表示されなくてもよい。キーポイント／エリアを表示するとき、キーポイントは人間の構造で接続されてもよく、および／または、キーエリアは、キーエリアの着色エリアまたはボックス／円／アウトラインで表示されてもよい。表示されたガイドアウトラインおよび／またはキーポイント／エリアは、母親が身体部分の相対位置を理解し、後のステップで彼女（および／または赤ちゃん）の姿勢を正すことを助けることができる。アウトラインおよび／またはキーポイント／エリアは、このステップの開始期間、全ステップ、または方法の終了まで、表示（例えば、ミラーリング）されてもよい。

【0041】

[0046]さらに、母親の姿勢はまた、異なる授乳タイプ、例えば、座っているか横になっているかに分類されてもよい。母親は、主にこれら２つの位置で赤ちゃんに母乳を与えることができる。分類は、例えば、座っている位置および横向きに寝る位置におけるキーポイント／エリア情報と比較することによって、識別されたキーポイント／エリアに従う。代替として、ステップ１０１の前、またはステップ１０１の後、ステップ１０２の前、またはステップ１０２の後、およびステップ１０３の前に、本方法は、授乳タイプを選択するためのユーザ入力を受信するための付加的ステップを含んでもよい。

【0042】

[0047]複数のルールは、母親および／または赤ちゃんの正しい授乳姿勢に関するキーポイント／エリア情報を含んでいてもよい。複数のルールは、異なる授乳タイプにおけるキーポイント／エリア情報に基づく異なるルールセットを含んでもよい。例えば、座った授乳位置と横向きに寝る授乳位置とでは、異なるルールを有していてもよい。正しい授乳姿勢は、例えば、全てのキーポイント／エリアを減算し、キーポイント／エリアの相対位置情報（および／または許容範囲内）を取得することによって、正しい授乳姿勢を有する多数の画像を用いて訓練した後、人工知能を介して取得されてもよい。

【0043】

[0048]このステップでは、デバイスはまた、少なくとも１つの画像中に赤ちゃんが存在するかどうかを識別してもよい。赤ちゃんが識別されない場合、本方法は、人工的な赤ちゃんが表示されてもよい授乳訓練モードに入ってもよい。例えば、人工的な赤ちゃんは、母親が座った位置にあるときに母親の両腕の間に表示されてもよく、または母親が横向きに寝る位置にあるときに母親の上半身の前に表示されてもよい。人工的な赤ちゃんは、アニメーション、画像、映画、または赤ちゃんを表す任意の他の表示オブジェクトであってもよい。

【0044】

[0049]赤ちゃん（例えば、本物の赤ちゃんまたは偽物の赤ちゃん）が識別された場合、母親の姿勢に加えて、赤ちゃんの姿勢も識別されてもよい。赤ちゃん姿勢の識別は、例えば、赤ちゃんの身体上のキーポイント／エリアを識別することを介して、母親と同様の方法であってもよい。例えば、赤ちゃんのキーポイント／エリアは、頭、（左／右）肩、背中、腰、首、（左／右）耳、口、鼻、手、顔などのうちの少なくとも１つを含んでいてもよい。身体のキーポイント／エリアの認識／識別は、人工知能を介してもよく、例えば、赤ちゃんの授乳画像で訓練されてもよい。

【0045】

[0050]赤ちゃんが識別された場合（例えば、本物の赤ちゃんまたは偽物の赤ちゃん）、赤ちゃんのガイドアウトラインまたは赤ちゃんの識別されたキーポイント／エリアが同様に表示されてもよい。表示されたガイドアウトラインおよび／またはキーポイント／エリアは、母親が、母親および／または赤ちゃんの身体部分の相対位置を理解し、それに応じて、例えば、後のステップにおいて、母親および／または赤ちゃんの姿勢を修正するのを助けることができる。

【0046】

[0051]赤ちゃんは、たとえば、すべての関係するキーポイント／エリアが識別されるか、またはキーポイント／エリアの一部のみが識別される場合、完全に識別されてもよいか、または部分的に識別されてもよい（たとえば、本物の赤ちゃんまたは偽物の赤ちゃん）。当該キーポイント／エリアは、母親および赤ちゃんの姿勢が正しいかどうかを識別するルールに含まれる赤ちゃんのキーポイント／エリアであってもよい。

【0047】

[0052]（完全にまたは部分的に）識別された赤ちゃんの姿勢は、上述の複数のルールに従って正しいかどうかが決定されてもよい。例えば、赤ちゃんの識別されたキーポイント／エリアが、赤ちゃんの他のキーポイント／エリアおよび母親のキーポイント／エリアのうちの少なくとも１つに対して特定の相対距離／位置を有する場合、赤ちゃんの姿勢は（ルールに従って）正しい。

【0048】

[0053]ルールは、赤ちゃんおよび／または母親の関係するキーポイント／エリアが完全に識別されるかどうか、左／右授乳、および授乳タイプ（たとえば、座った位置または横になった授乳位置）のうちの少なくとも１つに従って、異なるシナリオにおいて異なってもよい。シナリオは、以下のうちの少なくとも１つを含んでいてもよい：

【0049】

[0054]１．赤ちゃんおよび赤ちゃんのキーポイント／エリア完全に識別された状態で、左授乳位置に座っている。

【0050】

[0055]２．赤ちゃんおよび赤ちゃんのキーポイント／エリアが完全に識別された状態で、右授乳位置に座っている。

【0051】

[0056]３．赤ちゃんおよび赤ちゃんのキーポイント／エリアが部分的に識別された状態で、左授乳位置に座っている。

【0052】

[0057]４．赤ちゃんおよび赤ちゃんのキーポイント／エリアが部分的に識別された状態で、右授乳位置に座っている。

【0053】

[0058]５．赤ちゃんなしで左授乳位置に座っている。

【0054】

[0059]６．赤ちゃんなしで右授乳位置に座っている。

【0055】

[0060]７．赤ちゃんおよび赤ちゃんのキーポイント／エリアが完全に識別さ識別された状態で、左授乳位置で横向きに寝ている。

【0056】

[0061]８．赤ちゃんおよび赤ちゃんのキーポイント／エリアが完全に識別された状態で、右授乳位置で横向きに寝ている。

【0057】

[0062]９．赤ちゃんおよび赤ちゃんのキーポイント／エリアが部分的に識別された状態で、左授乳位置で横向きに寝ている。

【0058】

[0063]１０．赤ちゃんおよび赤ちゃんのキーポイント／エリアが部分的に識別された状態で、右授乳位置で横向きに寝ている。

【0059】

[0064]１１．赤ちゃんなしで左授乳位置で横向きに寝ている。

【0060】

[0065]１２．赤ちゃんなしで右授乳位置で横向きに寝ている。

【0061】

[0066]１３．母親は画像内で識別されない。

【0062】

[0067]いくつかの基本ルールは、以下のうちの少なくとも１つを含んでいてもよい：

【0063】

[0068]１．母親の肘は赤ちゃんの首を支える必要がある。

【0064】

[0069]２．母親の前膊が赤ちゃんの背中を支持する必要がある。

【0065】

[0070]３．母親の前膊、手および手首の相対位置は適切であるべきである（例えば、母親にとって快適である）。

【0066】

[0071]４．赤ちゃんの頭部は赤ちゃんの腰より高い必要がある。

【0067】

[0072]５．赤ちゃんの頭（または耳）、肩、および腰は直線上にあるべきである。

【0068】

[0073]６．赤ちゃんの頭部は、母親の授乳乳房に面し、赤ちゃんの頭部と授乳乳房との間の相対位置は、適切である（例えば、赤ちゃんが乳房に到達することができないように遠すぎず、赤ちゃんが快適に呼吸しないかもしれないように近すぎない）。

【0069】

[0074]赤ちゃんの頭部が直面する乳房は、授乳乳房として決定されてもよい。

【0070】

[0075]識別された赤ちゃんがいない（例えば、本物の赤ちゃんまたは偽物の赤ちゃん）とき、正しい授乳姿勢を識別するときに基本ルールの一部または全部のみが考慮されてもよく、例えば、ルール２、３、および６のみがルールに含まれてもよい。
赤ちゃんが識別されないときのシナリオについての詳細な例は、図２について後で説明される。

【0071】

[0076]識別するステップ１０３（および／または本発明における任意の他の識別するステップ）は、他のステップを実行する同じデバイスにおいて実行されてもよく、または外部デバイス、たとえばサーバによって実行されてもよい。この場合、デバイスは、通信ユニットを介して少なくとも１つのキャプチャされた画像を外部デバイスに送ることができ、少なくとも１つの画像を受信した後、サーバは、識別するステップを実行し、次いで、識別結果をデバイスに返送することができる。デバイスが結果を受信するとき、残りのステップを実行する。

【0072】

[0077]ステップ１０４において、デバイスは、複数のルールのすべてが満たされるまで、母親（および／または赤ちゃん）の姿勢を調整するように母親に動的に通知する。

【0073】

[0078]例えば、ステップ１０３において、母親および／または赤ちゃんの姿勢は、ルールの優先順位に従ってルールによって識別される。例えば、最も高い優先度を有するルールが最初に識別され、最も低い優先度を有するルールが最後に識別される。または、最も高い優先順位を有するルールが満たされないと識別された場合、識別ステップは停止し、満たされていないルールを母親に通知することができる。

【0074】

[0079]ルールは、姿勢が予め規定された期間以上にわたってルールに従っている場合、または予め規定された期間において閾値期間以上にわたってルールに従っている場合、満たされているとみなされてもよい。例えば、ルールは、姿勢が合計５秒間ルールに従っている場合に満たされているとみなされてもよく、または、姿勢が合計５秒間のうち３秒以上ルールに従っている場合に満たされているとみなされてもよい。

【0075】

[0080]ルールが満たされていないと識別された場合、母親への通知が、たとえば、オーディオ、テキスト、画像、アニメーション、およびビデオのうちの少なくとも１つを介して出力されてもよい。満たされない最も高い優先度を有するルールのみが通知されるか、または、満たされないすべてのルールが、高い優先度から低い優先度に従って１つずつ母親に通知される。任意選択的に、特定の期間および／または予め規定された回数の通知の後、複数のルールのうちの１つが依然として満たされていない場合、（例えば、識別および通知の両方において）満たされていないルールを無視する。

【0076】

[0081]通知は、ルールに基づいて生成されてもよく、例えば、

【0077】

[0082]１．基本ルール１に従って「肘で赤ちゃんの首を支える」。

【0078】

[0083]２．基本ルール２に従って「前膊で赤ちゃんの背中を支える」。

【0079】

[0084]３．基本ルール３に従って、「前腕（front arm）を上げる」、「前腕を下げる」、「下腕（lower arm）を上げる」、および／または「下腕を下げる」。

【0080】

[0085]４．基本ルール４に従って、「赤ちゃんの頭部を赤ちゃんの腰より高く保つ」、「赤ちゃんの頭部を高くする」、または「赤ちゃんの腰を低くする」。

【0081】

[0086]５．基本ルール５に従って、「赤ちゃんの頭（または耳）、肩、および腰を直線に保つ」、「赤ちゃんの首を高くする」、「赤ちゃんの肩を低くする」、または同様の通知。

【0082】

[0087]６．ルール６に従って、「赤ちゃんの頭部を乳房に向ける」、「赤ちゃんの頭部を右に向ける」、「赤ちゃんの頭部を乳房からより近く（またはより遠く）保つ」、または同様の通知。

【0083】

[0088]母親は、通知に従って自分および／または赤ちゃんの姿勢を調整することが予想されてもよい。したがって、ステップ１０１、１０２および１０３および１０４は、すべての（またはいくつかの予め規定されたされた数の）ルールが満たされ、授乳姿勢が正しいと決定されることができるときまで、反復的に（たとえば、ある期間、たとえば５秒ごとにすべてのステップに対して１回）実行されてもよい。

【0084】

[0089]例えば、予め規定された期間（例えば、１秒、または通知の時間長に応じて）毎に、画像がキャプチャされ（１０１）、表示され（１０２）、識別され（１０３）、通知が出力される（１０４）。

【0085】

[0090]例えば、ステップ１０４における通知は、満たされていない最も高いルールに従った通知のみを含んでいてもよく、次いで、新しい画像がキャプチャされ（１０１）、表示され（１０２）、識別される（１０３）。これらのステップは、すべてのルールが満たされるまで繰り返される。代替的に、ステップ１０４における出力通知は、満たされていないルールに基づくすべての通知を（例えば、ルールの優先順位で）含むことができ、次いで、新しい画像がキャプチャされ（１０１）、表示され（１０２）、識別される（１０３）。これらのステップは、すべてのルールが満たされるまで繰り返される。

【0086】

[0091]すべてのルールが満たされた後、ステップ１０１、１０２、および１０３は、母親および／または赤ちゃんが安定した正しい状態にあることを保証するために、ある期間にわたって依然として実行されてもよい。一定期間は、全てのルールが満たされる連続した期間であってもよい。例えば、一定期間は、誤りが識別されない連続する３秒であってもよい。または、特定の期間は、誤りが識別されない（すなわち、すべてのルールが満たされる）、ステップ１０１、１０２、および１０３の予め規定されたされた数の連続反復であってもよい。

【0087】

[0092]満たされていないルールがある回数通知されたが、このルールによる姿勢が依然として満たされていない場合、このルールは、いくつかまたはすべての後のステップにおいてスキップされてもよい（たとえば、常に正しいと見なされる）。あるいは、このルールは、特定の期間にスキップされ（例えば、この特定の期間中に正しいと見なされ）、特定の期間後に再検討されてもよい。

【0088】

[0093]ステップ１０５において、全てのルール（例えば、満たされているかどうかを識別されることができる全てのルール）が満たされている場合、授乳が開始することを示すためのタイマーを開始する。タイマーは、ステップ１０４における母親および／または赤ちゃんの正しい姿勢が、全てのルールが満たされる期間にわたって連続的に識別された後に開始してもよい。

【0089】

[0094]タイマーは、授乳期間の記録を生成するので有利である。授乳期間は、例えば、赤ちゃんの年齢および／または履歴データに従って比較され、したがって、赤ちゃんの成長および／または健康を監視してもよい。これはまた、母親ができるだけ長い間正しい姿勢を保つことを促す。タイマーは、姿勢が正しいことの表示でもある。時間はまた、他の赤ちゃんまたは履歴データと比較されたとき、赤ちゃんが十分に授乳されているか否かを示唆できる。ステップ１０３および／または１０４において赤ちゃんが識別されなかった場合、タイマーは省略されてもよい。

【0090】

[0095]たとえば、関係するキーポイント／エリアを識別することができないので、いくつかのルールが満たされるか否かを決定できない場合、母親がすべての情報を受信することを確認するために、これらのルールはすべて（タイマーを開始する前または後に）１つずつ母親に通知されてもよい。いくつかの他の情報が出力されてもよく、例えば、いくつかのリラックスヒント／提案、またはリラックスした音楽の一部、または適合した声を有するスピーチが出力されてもよい。これは、母親および赤ちゃんがリラックスするのを助けることができる。

【0091】

[0096]ステップ１０６において、授乳期間中に授乳のための複数のルールに従って母親（および／または赤ちゃん）の姿勢を調整するように母親に動的に通知する。このステップはステップ１０４と同じであり、ステップ１０１、１０２、１０３、および１０４は同じように反復されてもよい。唯一の違いは、タイマーが表示されてもよいことである。別の違いは、通知が音声を使用しないことによって出力されるだけであってもよく、赤ちゃんを妨げることを回避することであってもよい。例えば、通知は、音声を伴わないテキスト、画像、アニメーションまたはビデオを介して出力されてもよい。

【0092】

[0097]タイマーは、授乳が終了したときに停止され、記録されてもよい。授乳は、母親がタイマーを停止したか、アプリケーションを手動で閉じた場合、または母親が画像を離れた場合（例えば、ある期間にわたってキャプチャ画像から部分的にまたは完全に出た場合）、または赤ちゃんの頭部と授乳乳房との距離が少なくともある期間にわたって予め定められた距離よりも大きい場合、終了したと決定されてもよい。

【0093】

[0098]授乳期間中、母親は、他の機能（たとえば、ニュース／ビデオを見ること、電子メールを送信することなど）のためにデバイスを使用してもよいので、アプリケーションは、タイマーが依然として動作できるバックグラウンド（閉じられていない）で動作してもよい。アプリケーションがバックグラウンドで実行されているときにアプリケーションが閉じられる場合、ユーザは、アプリケーションが次にいつ開かれる／開始されるかをリマインドされてもよく、例えば、タイマーが異常に終了したことをユーザに通知し、および／または最後の授乳時間を編集／入力するようにユーザに要求する。

【0094】

[0099]図２は、図１の方法の一例である、赤ちゃんが識別されない（例えば、本物の赤ちゃんも偽物の赤ちゃんも識別されない）ときの授乳指導のための方法を示す。

【0095】

[00100]ステップ２０１および２０２は、全ての代替を含むステップ１０１および１０２と同じである。例えば、ユーザ（例えば、母親）は、ステップ２０１の前に電子デバイス上にインストールされた（または記憶された）授乳指導アプリケーションを開始してもよく、次いで、例えば、座っている授乳姿勢または横向きに寝る授乳位置において、授乳タイプを選択してもよい。代替として、授乳タイプは、捕捉された画像を分析することによって、デバイス（または図１に関して説明されるような外部デバイス）によって検出および決定されてもよい。図１の追加の任意選択のステップは、図２にも適用することができ、ここでは詳細に説明しない。

【0096】

[00101]ステップ２０３において、画像内に赤ちゃんが現れていないことが識別される。
ステップ２０１から２０３は、反復的に実行されてもよく、例えば、１秒ごとに両方のステップに対して１回実行されてもよい。特定の期間の後にまだ赤ちゃんが依然として識別されない場合、アプリケーションが「赤ちゃんなし」モード（例えば、「授乳指導モード」）で実行されると決定される。一定期間は、一定時時間期間（例えば、３秒）であってもよいし、連続してキャプチャされ分析された画像の数（例えば、５枚または１０枚）であってもよい。「赤ちゃんなし」モードに入った後、母親は、オーディオ、テキスト、ビデオ、アニメーション、または任意の他の方法を介して、今やアプリケーションが「赤ちゃんなし」モードで動作していることを通知されてもよい。アプリケーションはまた、「赤ちゃんなし」モードで動作するためにユーザ（すなわち、母親）から入力を直接受信してもよく、その場合、ステップ２０３における識別ステップは省略されてもよい。

【0097】

[00102]ステップ２０４において、人工的な赤ちゃんが、母親の表示画像の上に表示されてもよい。人工的な赤ちゃんは、アニメーション、画像、映画、または赤ちゃんを表す任意の他の表示オブジェクトであってもよい。人工的な赤ちゃんを表示する前に、母親のキーポイント／エリアおよび／またはガイドアウトラインが識別されてもよい。人工的な赤ちゃんを表示する位置は、母親の識別されたキーポイント／エリアおよび／またはガイドアウトラインに従ってもよい。

【0098】

[00103]赤ちゃんは、画像内の授乳位置に表示されてもよい。例えば、人工的な赤ちゃんは、母親の胸の前に表示されてもよい。左または右の授乳位置は、例えば、ユーザ入力に従って、または少なくとも１つの画像を分析することによって、最初に決定されてもよい。例えば、母親の左肘がより高い場合、人工的な赤ちゃん頭部は左肘によって支持されてもよいと決定されてもよく、したがって、赤ちゃんは母親の左乳房によって授乳されると決定されてもよい。したがって、人工的な赤ちゃんの頭部は、母親の左肘の上に表示されてもよく、赤ちゃんの頭部の縁は、母親の肘に取り付けられてもよく、赤ちゃんの身体は、母親の前膊に沿って表示されてもよい。

【0099】

[00104]人工的な赤ちゃんの位置は、授乳タイプ、例えば、母親の横向きに寝る位置で座ることに従って表示されてもよい。例えば、上記の例は、座る授乳タイプに適用されてもよい。母親が横向きに寝る位置にある場合、赤ちゃんがベッドに近い乳房（例えば、画像内の下の乳房）によって授乳されることが意図されていると決定されてもよい。例えば、母親が左側に横向きに寝ている場合、赤ちゃんは左乳房によって授乳されることが意図されていると決定されてもよい。そして、人工的な赤ちゃんの頭部は、母親の左乳房の位置に表示されてもよく、赤ちゃんの身体は、母親と同じ横向きに寝ている方向に表示されてもよい（例えば、母親と人工的な赤ちゃんの頭部が同じ方向にある）。横になった授乳位置では、人工的な赤ちゃんは、同様にベッド上に横になって（すなわち、母親の腕の中ではなく）表示されてもよい。

【0100】

[00105]表示される人工的な赤ちゃんのサイズは、母親の識別されたキーポイント／エリア、たとえば、母親の腕の長さ、頭の幅、および／または肩幅に従って決定されてもよい。例えば、人工的な赤ちゃんは、母親の肩幅の約０．８から１．５倍の長さを有してもよい。

【0101】

[00106]表示される人工的な赤ちゃんは、キャプチャされた画像および／または表示された画像のそれぞれに従って動的に調整／適合されてもよい。代替的に、赤ちゃんの位置およびサイズが決定されると、人工的な赤ちゃんは、少なくともある期間にわたって同じ位置に表示されてもよい。

【0102】

[00107]赤ちゃんが表示された後、ステップ２０４において、母親の姿勢が監視され補正される、すなわち、授乳のための複数のルールに従って、母親の姿勢が正しいかどうかを動的に識別し通知する。

【0103】

[00108]ステップ２０４の前に、補正ステップが開始することを示すために通知が出力されてもよい。

【0104】

[00109]ステップ２０４は、ステップ１０３および／または１０４と同じ方法で実行する。違いは、人工的な赤ちゃんが表示されることである。赤ちゃんのキーポイント／エリアのみに関連するルールは、省略されてもよく、母親（または赤ちゃんおよび母親の両方）のキーポイント／エリアに関するルールのみが、複数のルールに含まれる。

【0105】

[00110]本発明のすべての例において、たとえば、すべての図において、異なる授乳タイプのためのルールは異なってもよい。

【0106】

[00111]たとえば、座った授乳位置におけるルールは、以下の順序（たとえば、より小さい数でより高い優先度、または異なる優先度順序）を含み、以下の順序で優先されてもよい。

【0107】

[00112]１．母親の一方または両方の腕は、あるエリア／範囲内にある。例えば、他のキーポイント／エリアと比較したときの母親の両腕の一方の相対位置が範囲内にあるかどうか。母親への出力通知は、このルールが満たされない場合、「左腕（および／または右腕）および／または左手（および／または右手）を上げてください（および／または下げてください）」を含んでいてもよい。

【0108】

[00113]２．母親の肘は赤ちゃんの首を支える。赤ちゃんの首は、赤ちゃんの頭および肩のキーポイント／エリアに従って直接識別または計算されてもよい。

【0109】

[00114]３．赤ちゃんの頭部は赤ちゃんの腰より高い。

【0110】

[00115]４．赤ちゃんの頭（または耳）、肩、および腰は直線上にある。

【0111】

[00116]５．母親の前膊は赤ちゃんの背中に置かれている。例えば、母親の左肘が赤ちゃんの首を支持することになっている場合、母親の左前膊は、赤ちゃんを快適にする／支持するために赤ちゃんの背中に置かれることができ、同時に、母親の左腕は快適な位置にある。

【0112】

[00117]６．赤ちゃんの頭部は母親の授乳乳房に面し、赤ちゃんの頭部と授乳乳房との間の相対位置は適切である。

【0113】

[00118]

【0114】

[00119]横向きに寝る授乳位置にあるルールは、以下の順序（より小さい数を伴うより高い優先度、または異なる優先度順序）を含み、それにおいて優先度付けされてもよい。

【0115】

[00120]１．母親は、一方の側に横たわり、カメラに向くべきである。

【0116】

[00121]２．母親は横向きに平らに寝るべきである（例えば、肘または手で自分自身を支持せず、これは、特定の期間より長く続く場合、母親にとって快適ではない）。

【0117】

[00122]３．母親の前膊は赤ちゃんの背中にある。例えば、母親が左横向きに寝ている場合、母親は赤ちゃんに左乳房で授乳することを意図している可能性があり、したがって、母親が赤ちゃんの背中エリアに右手を置くことは快適であり、これは赤ちゃんも快適にする。

【0118】

[00123]４．赤ちゃんの頭部は、母親の手によって保持されない。赤ちゃんは、母親の一方または両方の手から力を受けたときに快適に感じない場合がある。

【0119】

[00124]５．赤ちゃんの頭（または耳）、肩、および腰は直線上にある。

【0120】

[00125]６．赤ちゃんの頭部は母親の授乳乳房に面し、赤ちゃんの頭部と授乳乳房との間の相対位置は適切である。

【0121】

[00126]この説明のすべての例、たとえばすべての図において、シナリオは、赤ちゃんが完全にまたは部分的に識別されるかまたは識別されないか、どの授乳タイプが使用されるか、およびそれが左授乳であるか右授乳であるかに従って決定されてもよい。赤ちゃんの完全に識別されたモードは、赤ちゃんの全ての関係するキーポイント／エリア、例えば、赤ちゃんの頭、肩、および腰の全てのキーポイント／エリアを識別できるモードであってもよい。しかしながら、現実の生活では、赤ちゃんは十分に成長しておらず、多くを着用しているか、または毛布の下にいる場合があり、このことは、関係するキーポイント／エリアのすべてを識別することを困難にする。例えば、赤ちゃんの腰は、毛布の下で識別することが困難な場合がある。赤ちゃんの部分的に識別されたモードは、赤ちゃんの関係するキーポイント／エリアの全てではないが、いくつか（例えば、最も重要なキーポイント／エリアを含む）が識別されてもよいモードである。例えば、赤ちゃんの頭部のみが識別できる場合である。赤ちゃんの識別されないモード（すなわち、赤ちゃんなしモード、または授乳指導モード）は、すべてのキーポイント／エリアが識別されない可能性がある、または最も重要なキーポイント／エリアが識別されない可能性があるモードである。例えば、最も重要なキーポイント／エリア（例えば、赤ちゃんの頭部）が識別されないかもしれない場合、赤ちゃんの関係する頭、肩、および腰のいずれも識別できない。

【0122】

[00127]考慮されるルールのセットは、異なるシナリオにおいて異なってもよい。例えば、（赤ちゃんのキーポイント／エリアの）完全識別モードでは、（座った位置および横向きに寝た位置に対して上記に列挙された）本発明における全ての姿勢識別ステップに対して、全ての例示的ルールが含まれてもよく、部分的識別モードでは、座った授乳位置に対するルール１および６のみが考慮されてもよく、および／または横向きに寝た授乳位置に対するルール１、２、４および６のみが考慮されてもよく、非識別モードでは、図２の例が適用されてもよく、赤ちゃんのみに関するルールは無視されてもよく、母親の姿勢および／または母親と赤ちゃんの姿勢の両方に関するルールが考慮されてもよい。

【0123】

[00128]本発明の任意のステップにおいてルールが満たされるかどうかを識別するとき、母親および／または赤ちゃんのキーポイント／エリアの相対位置が分析される。例えば、母親の（同じ側の）肩および乳房のキーポイント／エリア間の垂直距離または母親の上半身の長さは、他のキーポイント／エリアの垂直位置の基準として使用されてもよく、および／または母親の乳房のキーポイント／エリア間の距離または母親の肩のキーポイント／エリアの幅は、他のキーポイント／エリアの水平位置の基準として使用されてもよい。

【0124】

[00129]たとえば、左授乳位置（たとえば、座った位置または横向きに寝た位置のいずれか）では、母親の左肩および左乳房のキーポイント／エリア間の距離が垂直基準距離として使用されてもよい。通常、授乳側肘（この場合、左肘）の正確な高さは、授乳乳房とほぼ同じ高さ（および／または予め定められた範囲内であってもよい）であるべきである。例えば、授乳肘の高さは、ｃ＋０．５ｄの範囲内であるべきであり、ここで、ｃは、授乳乳房の高さであり、ｄは、母親の左肩および左乳房のキーポイント／エリア間の距離である。したがって、授乳肘の識別結果に従って、授乳前膊を上げるか下げるかを決定することができる（すなわち、授乳肘がｃ＋０．５ｄより高い場合、授乳前膊を下げ、そうでない場合、授乳前膊を上げる）。授乳側手首位置は、同様の方法で、例えば、ｃ＋０．２ｄおよびｃ－０．８ｄであるかどうか（例えば、ｃ＋０．２ｄより高い場合、授乳側手を低く、そうでない場合、授乳側手を高くする）で識別されてもよい。

【0125】

[00130]本発明では、非授乳乳房側の重要な位置は、例えば上述したように、授乳乳房側と同じ方法で識別することができる。しかしながら、非授乳側のキーポイント／エリアのうちのいくつかの位置、例えば、授乳側ではない母親の手首は、スキップされてもよい（例えば、常に正しいと見なされる）。

【0126】

[00131]例えば、赤ちゃんの頭部が授乳乳房に向いているかどうかを識別するとき、赤ちゃんの頭部のキーポイント／エリアは、画像上のｘ／ｙ軸位置系において（ｘ，ｙ）の位置を有し、母親の授乳乳房のキーポイント／エリアは、（ｕ，ｖ）の位置を有する。その場合、ｘはｕ－０．５ｅおよびｕ＋０．５ｅの範囲にあるべきであり、ｙはｖ－０．５ｄおよびｖ＋０．５ｄの範囲にあるべきであり、ここでｅは母親の左右の乳房のキーポイント／エリア間の距離である。ｘまたはｙが範囲外である場合、母親は、授乳乳房に面するように赤ちゃんの頭部を調節するように通知される。

【0127】

[00132]同様に、母親の肘が赤ちゃんの首を支持しているかどうかは、授乳側肘のキーポイント／エリアと赤ちゃんの肩との間の距離が予め規定された範囲内にあるかどうかによって決定されてもよく、母親の前膊が赤ちゃんの背中にあるかどうかは、以下の条件、ａ）関係する前膊からの手のキーポイント／エリアが赤ちゃんの背中エリアにあるかどうか、ｂ）関係する前膊からの手首のキーポイント／エリアが赤ちゃんの背中エリアにあるかどうか、およびｃ）関係する前膊同じ側の手首と肘とを結ぶ線が赤ちゃんの背中エリアを横切るかどうか、のうちの少なくとも１つが満たされることによって決定されてもよい。

【0128】

[00133]たとえば、赤ちゃんの頭部が母親の手によって保持されているかどうかを識別するとき、赤ちゃんの長さが基準距離（たとえば、ｋ）として使用されてもよく、次いで、母親のいずれかの手のキーポイント／エリアがあるエリア範囲内にあるかどうか、たとえば、赤ちゃんの頭部のキーポイント／エリアを中心点とし０．１ｋを半径とするエリア内にあるかどうかが識別される。このエリア内にある場合、母親が赤ちゃんの頭部を保持していると決定され、母親はそのようにしないように通知される。

【0129】

[00134]たとえば、母親がカメラに向いているかどうかを識別するとき、それは、母親の顔上のいくつかまたはすべてのキーポイント／エリア、たとえば、母親の２つの目および鼻（および／または口）が識別されることができるかどうかに従って決定されてもよい。例えば、全てが識別された場合、母親がカメラに向いていると識別される。

【0130】

[00135]シナリオは、完全に識別された赤ちゃん、部分的に識別された赤ちゃんもしくは識別されていない赤ちゃん、または授乳タイプ、または授乳乳房部の間で、例えば、赤ちゃんを伴うシナリオから赤ちゃんを伴わないシナリオへと変化してもよい。しかしながら、ルールおよび／または表示される情報は、シナリオの変化に応じて変化が遅れる場合がある。例えば、以前のシナリオが変更されたシナリオに変化したとき、ルールセットは直ちに変更されず、変更されたシナリオが特定の期間（例えば、５秒以上）継続して識別された後にのみ変更される。同様に、表示されるユーザインターフェースおよび／または通知は、変更前のしばらくの間、依然として以前のシナリオに従う。これは、特に、例えば、いくつかの短い／一時的なイベントに起因してルールおよびユーザインターフェースをあまりにも頻繁に切り替えることを回避するなど、ユーザ体験を改善するのに有利である。例えば、母親は、１本の腕を伸ばしてすぐに正しい授乳位置に戻りたいだけである場合、ルールを変更する必要は全くない。

【0131】

[00136]本発明の例では、母親が正しい授乳姿勢に入った後（たとえば、ステップ１０４および２０４の後）、（シナリオが変更された場合）前のシナリオのうちの少なくとも１つにおいて満たされないと識別されたルールは、このルールが現在のシナリオにもはや適用されなくても、母親に再び通知されてもよい。これは、母親がすべての重要な命令およびルールを得ることを保証するためである。

【0132】

[00137]図１および図２において説明したステップのいずれにおいても、ユーザは、カメラを能動的にオン／オフすることが可能であってもよい。例えば、ステップ１０６の間、姿勢が既に補正されているので、ユーザはカメラをオフにすることができる。このようにして、ステップ１０６において動的補正は実行されなくてもよい。

【0133】

[00138]図３は、本発明を実行するためのデバイス３００、たとえば、モバイルフォン、タブレット、ラップトップ、デスクトップ、スマートウォッチ、ＴＶなどを示す。

【0134】

[00139]デバイス３００は、プロセッサ３０１と、ディスプレイ３０２と、通信ユニット３０３と、メモリ３０５と、カメラ３０６と、他の入力／出力ユニット３０７とを備えていてもよい。

【0135】

[00140]プロセッサ３０１は、たとえば、ディスプレイ３０２、通信ユニット３０３、メモリ３０５、カメラ３０６、および他の入力／出力ユニット３０７などの他の構成要素を制御することを介して、メモリ３０５に記憶されたプログラム／命令を実行するように構成される。

【0136】

[00141]ディスプレイ３０２は、ステップ１０２、１０５、２０２など、本発明におけるすべての表示機能（およびタッチスクリーンである場合には入力機能）を実行するようにプロセッサ３０１によって制御されてもよい。

【0137】

[00142]通信ユニット３０３は、本発明におけるすべての通信機能を実行するようにプロセッサ３０１によって制御されてもよい。例えば、外部デバイス３１０（例えば、サーバ）が本発明における識別機能の一部または全部、例えば、ステップ１０３、１０６、２０３および２０４を実行するために使用される場合、画像の送信および／または識別結果の受信などのメッセージが通信ユニット３０３を介して通信される。任意選択で、画像は、プライバシーの理由のために外部デバイス３１０に記憶されなくてもよく、例えば、各識別ステップの後、画像は、外部デバイス３１０において直ちに削除される。

【0138】

[00143]メモリ３０５は、授乳アプリケーションソフトウェアおよび／またはデータを記憶するように構成される。例えば、シナリオ、基本ルール、各シナリオについての対応するルール、キャプチャされた画像、識別された結果、ユーザプロファイル、使用履歴、授乳記録、リラックスヒント、および他のガイダンスなどである。アプリケーションは、ユーザがこれらのデータ、例えば、授乳記録、ルール、リラックスヒント、および他のガイダンス等をチェック／監督するための少なくとも１つのエントリを提供してもよい。

【0139】

[00144]カメラ３０６は、本発明において、例えば、ステップ１０１および２０１において、画像をキャプチャするように構成される。

【0140】

[00145]他の入力／出力ユニット３０７は、本発明の他の入力／出力機能を実行するように、例えば、ステップ１０６および２０４において音声通知を出力するように、または赤ちゃんの授乳タイプおよび／もしくはモード（例えば、完全に、部分的に、もしくは識別されない）ならびに／または任意の他の使用設定についてのユーザ入力を受信するように構成される。

【0141】

[00146]本発明では、デバイス（例えば、図３）または方法（例えば、図１および２）の少なくとも一部は、例えば、プログラムモジュール、ソフトウェア、モバイルアプリ、および／または他の形態で、非一時的コンピュータ可読記憶媒体に記憶された命令として実装されてもよい。命令は、プロセッサ（例えば、プロセッサ３０１）によって実行されるとき、プロセッサが本発明による対応する機能を実行することを可能にしてもよい。非一時的コンピュータ読取可能媒体は、例えば、メモリ３０５であってもよい。

【0142】

[00147]本発明の一実施形態によれば、授乳指導のための方法は、少なくとも１つの画像をキャプチャすることと、少なくとも１つの画像を表示することと、授乳のための複数のルールに従って少なくとも１つの画像内の人の姿勢が正しいかどうかを識別することと、複数のルールのそれぞれが満たされるまで、人の姿勢を調整するように人に動的に通知することと、タイマーを開始することと、授乳中に複数のルールに従って人の姿勢を調整するように人の姿勢をさらに識別し、人に通知することと、授乳が終了したときに、タイマーを終了して記録することとを含む。

【0143】

[00148]本発明の一実施形態によれば、本方法は、授乳タイプを識別すること、または、例えば、人が座った授乳位置にあるか横向きに寝る授乳位置にあるかなど、授乳タイプを示すための入力を受信することを含んでもよい。

【0144】

[00149]本発明の一実施形態によれば、方法は、少なくとも１つの画像を外部デバイスに送ること、人の姿勢の識別結果を外部デバイスから受信することをさらに含むことができ、または人の姿勢を識別することは、電子デバイスによって実行される。

【0145】

[00150]本発明の一実施形態によれば、複数のルールに従って人の姿勢を識別することは、複数のルールの優先順位に従って識別することをさらに含むことができ、および／または複数のルールは、人の少なくとも１つの標準姿勢と赤ちゃんの少なくとも１つの標準姿勢の両方を含む。

【0146】

[00151]本発明の一実施形態によれば、人の姿勢を調整するように人に動的に通知することのうちの少なくとも１つは、満たされていない複数のルールの優先順位に従って人に通知することをさらに含むことができ、および／または通知することは、音声、テキスト、画像、アニメーション、およびビデオの方法のうちの少なくとも１つを介して行われる。

【0147】

[00152]本発明の一実施形態によれば、人の姿勢を調整するように人に動的に通知することのうちの少なくとも１つは、満たされていないルールの中で最も高い優先度を有するルールを識別することと、最も高い優先度を有するルールのみを一度に人に通知することと、および／または、特定の期間および／または予め規定された回数の通知の後に、複数のルールのうちの１つが依然として満たされていない場合、満たされていないルールを無視することと、をさらに含んでいてもよい。

【0148】

[00153]本発明の一実施形態によれば、本方法は、赤ちゃんが少なくとも１つの画像に現れるかどうかを識別することと、赤ちゃんが識別されない場合、人工的な赤ちゃんを表示し、コーチングモードに入ることと、赤ちゃんが識別される場合、授乳モードに入ることとをさらに含み、および／またはコーチングモードにおいて、タイマーが開始されない。

【0149】

[00154]本発明の一実施形態によれば、本方法は、複数のルールに従って、少なくとも１つの画像内の赤ちゃんの姿勢が正しいかどうかを識別することをさらに含むことができる。

【0150】

[00155]本発明の一実施形態によれば、人および／または赤ちゃんの姿勢を識別することは、人および／または赤ちゃんの少なくとも１つのキーポイントおよび／または少なくとも１つのキーエリアを識別することと、識別された少なくとも１つのキーポイントおよび／または少なくとも１つのキーエリアの位置を複数のルールと比較することとを更に含んでもよく、複数のルールは、正しい授乳状態にある人および／または赤ちゃんのキーポイントおよび／またはキーエリア情報を含む。

【0151】

[00156]本発明の一実施形態によれば、本方法は、授乳タイプ、授乳する乳房が左であるか右であるか、および赤ちゃんが完全に識別されるか、部分的に識別されるか識別されないかのうちの少なくとも１つに応じて、授乳シナリオを識別することをさらに含むことができ、および／または複数のルールは、異なるシナリオにおける異なるルールセットを含む。

【0152】

[00157]本発明の一実施形態によれば、前のシナリオが変更されたシナリオに切り替わる場合、前のシナリオによるルールのセットは、変更シナリオがある期間よりも長く識別されたときに、変更されたシナリオによるルールのセットに切り替わってもよい。

【0153】

[00158]本発明の一実施形態によれば、赤ちゃんの１つまたは２つ以上のキーポイントおよび／またはキーエリアが識別されるが、全てのキーポイントおよび／またはキーエリアが識別されないときに、赤ちゃんが部分的に識別される場合、複数のルールは、赤ちゃんの識別されないキーポイントおよび／またはキーエリアに関連するルールを除外してもよい。

【0154】

[00159]本発明の一実施形態によれば、方法は、人の姿勢および／または赤ちゃんの姿勢の識別の前および／または間に、人および／または赤ちゃんのガイドアウトラインをディスプレイ上に表示することを更に含んでもよい。

【0155】

[00160]本発明の一実施形態によれば、複数のルールは、人の同じ側の肩と乳房との間の垂直基準距離に基づくことができる。

【0156】

[00161]本発明の一実施形態によれば、複数のルールは、人の乳房間の水平基準距離、または人の肩間の水平基準距離に基づくことができる。

【0157】

[00162]本発明の一実施形態によれば、電子デバイスは、カメラと、ディスプレイと、本発明の方法を実行するプロセッサとを備える。

【0158】

[00163]本発明の一実施形態によれば、記憶媒体は、本発明の方法を実行するために少なくとも１つのプロセッサによって実行される命令を記憶するように構成される。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】