ホーム > 特許ランキング > エーアイブイエフ リミテッド
知財求人 - 知財ポータルサイト「IP Force」
特表2024-501095非言語的音声を介して生物学的プロセスを表現するためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-11
(54)【発明の名称】非言語的音声を介して生物学的プロセスを表現するためのシステム及び方法
(51)【国際特許分類】
G10K 15/04 20060101AFI20231228BHJP
G10G 1/00 20060101ALI20231228BHJP
A61B 17/43 20060101ALI20231228BHJP
【ＦＩ】
G10K15/04 302G
G10G1/00
A61B17/43
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023515732
(86)(22)【出願日】2021-09-02
(85)【翻訳文提出日】2023-03-27
(86)【国際出願番号】 IL2021051080
(87)【国際公開番号】W WO2022054045
(87)【国際公開日】2022-03-17
(31)【優先権主張番号】63/075,336
(32)【優先日】2020-09-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】523083780
【氏名又は名称】エーアイブイエフ リミテッド
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】ギルボア、ダニエラ
(72)【発明者】
【氏名】ワインバーグ、ギル
【テーマコード（参考）】
4C160
5D182
【Ｆターム（参考）】
4C160HH01
5D182AD05
(57)【要約】
非言語的音声を介して生物学的プロセスを表現する方法、およびそれを実行するためのシステムが提供される。本方法は、生物学的プロセスから時間関連生物学的イベントのシーケンスを抽出し、時間関連生物学的イベントのシーケンスを時間関連生物学的イベントのシーケンスを表すリズムおよび／またはメロディに変換することで、非言語的音声を介して生物学的プロセスを表現することによって実施される。
【特許請求の範囲】
【請求項1】
非言語的音声を介して生物学的プロセスを表現する方法であって、（ａ）生物学的プロセスから時間関連生物学的イベントのシーケンスを抽出し、
（ｂ）前記時間関連生物学的イベントのシーケンスを、前記時間関連生物学的イベントのシーケンスを表す可聴化音に変換することで、非言語的音声を介して生物学的プロセスを表現する
ことを含む、方法。
【請求項2】
前記時間関連生物学的イベントのシーケンスが、前記生物学的プロセスのビデオまたはタイムラプス撮影画像から抽出される、請求項１に記載の方法。
【請求項3】
前記生物学的プロセスが胚発生である、請求項１に記載の方法。
【請求項4】
前記時間関連生物学的イベントのシーケンスが、細胞分裂、増殖、および分化の少なくとも１つを含む、請求項３に記載の方法。
【請求項5】
前記時間関連生物学的イベントのシーケンスが、細胞内構造の変化を含む、請求項３に記載の方法。
【請求項6】
前記細胞内構造が、核、前核、細胞質、または細胞骨格である、請求項５に記載の方法。
【請求項7】
前記リズムが打楽器的リズムである、請求項１に記載の方法。
【請求項8】
前記時間関連生物学的イベントを表す前記リズム及び／又はメロディを、前記生物学的プロセスの前記ビデオ又はタイムラプス撮影画像と組み合わせることを更に含む、請求項２に記載の方法。
【請求項9】
正常な生物学的プロセスの前記時間関連生物学的イベントを表す前記リズムおよび／またはメロディが、異常な生物学的プロセスの前記時間関連生物学的イベントを表す前記リズムおよび／またはメロディとは異なる、請求項１に記載の方法。
【請求項10】
正常な生物学的プロセスの前記時間関連生物学的イベントを表す前記リズムおよび／またはメロディが、異常な生物学的プロセスの前記時間関連生物学的イベントを表す前記リズムおよび／またはメロディよりも、リズミカルおよび／または音楽的である、請求項９に記載の方法。
【請求項11】
前記時間関連生物学的イベントが、画像認識ソフトウェアを使用して前記生物学的プロセスのビデオ又はタイムラプス撮影画像から抽出される、請求項２に記載の方法。
【請求項12】
前記リズム及び／又は前記メロディは、経時的な変化について分析される、請求項１に記載の方法。
【請求項13】
前記リズムおよび／または前記メロディは、信号処理アルゴリズムを使用して分析される、請求項１２に記載の方法。
【請求項14】
前記信号処理アルゴリズムは、人間が知覚可能で定量化可能な高レベル音楽情報を抽出する、請求項１３に記載の方法。
【請求項15】
前記信号処理アルゴリズムが、前記リズムおよび／またはメロディのリズム周期性を抽出する、請求項１３に記載の方法。
【請求項16】
前記信号処理アルゴリズムが、前記リズムおよび／またはメロディの自己相似性を測定する、請求項１３に記載の方法。
【請求項17】
非言語的音声を介して生物学的プロセスを表現するシステムであって、計算ユニットを含み、前記計算ユニットが、
（ａ）生物学的プロセスから時間関連生物学的イベントのシーケンスを抽出し、
（ｂ）前記時間関連生物学的イベントのシーケンスを、前記時間関連生物学的イベントを表すリズムおよび／またはメロディに変換することで、非言語的音声を介して生物学的プロセスを表現する
ように構成された、システム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願）
本出願は、２０２０年９月８日に出願された米国仮特許出願第６３／０７５，３３６号の優先権の利益を主張し、その内容全体が参照により本明細書に組み込まれる。
本出願は、２０２０年９月８日に出願された米国仮特許出願第６３／０７５，３３６号の優先権の利益を主張し、その内容全体が参照により本明細書に組み込まれる。
【0002】
本発明は、非言語的音声（ｎｏｎ－ｓｐｅｅｃｈ ａｕｄｉｏ）（例えば、音楽）を介して生物学的プロセスを表現するためのシステム及び方法に関する。本発明の実施形態は、着床に適した胚を識別／検証するために使用することができるユーザ可聴リズムおよび／またはメロディを生成するための胚発生ビデオの可聴化（ｓｏｎｉｆｉｃａｔｉｏｎ）に関する。
【背景技術】
【0003】
体外受精（Ｉｎ Ｖｉｔｒｏ Ｆｅｒｔｉｌｉｚａｔｉｏｎ：ＩＶＦ）は、１９７８年以来、不妊症の問題をうまく治療するために使用されてきた。研究の進行にもかかわらず、それは依然として複雑な手順であり、最良の利用可能なリソースを使用しても成功率はわずか２０％である。
【0004】
ＩＶＦは患者にとって心理的外傷となりうる高価な手順であり、したがって、治療前にＩＶＦが成功しそうにない被験者や、移植に最も適した胚を識別することで、ＩＶＦ手順に関連するコストおよびその手順が患者に引き起こす不快感を減らすことができる。
【0005】
ＩＶＦ手順における胚選択工程は、着床の成功にとって極めて重要である。選択は、典型的には、胚の発生サイクル全体にわたる胚の顕微鏡スクリーニングを介して手動で行われる。より最近では、タイムラプスビデオ顕微鏡法は、顕微鏡画像での長期のタイムラプス撮影を可能にし、これを自動的に又は手動で分析して移植の適合性を決定することができる。
【発明の概要】
【発明が解決しようとする課題】
【0006】
ビデオベースのスクリーニング手法は、特に熟練した技術者によって手動で実施される場合、移植の成功可能性を増加させるが、移植の成功可能性を増加させるためには、さらなるスクリーニングツールが必要とされる。
【0007】
本発明を実施に移す過程で、本発明者らは、胚発生などの生物学的プロセスをスクリーニングするための手法を考案した。本手法は、手動または自動ビデオベースのスクリーニングを補足することができ、意思決定プロセスで使用することができる追加の情報レイヤを技術者に提供する。
【課題を解決するための手段】
【0008】
本発明の一態様によれば、非言語的音声を介して生物学的プロセスを表す方法であって、前記生物学的プロセスから時間関連生物学的イベントのシーケンスを抽出し、前記時間関連生物学的イベントのシーケンスを、前記時間関連生物学的イベントのシーケンスを表す音楽的可聴化音に変換し、それによって前記生物学的プロセスを、非言語的音声を介して表現すること、を含む方法が提供される。
【0009】
本発明の実施形態によれば、時間関連生物学的イベントのシーケンスは、生物学的プロセスのビデオ又はタイムラプス撮影画像から抽出される。
【0010】
本発明の実施形態によれば、生物学的プロセスは胚発生である。
【0011】
本発明の実施形態によれば、時間関連生物学的イベントのシーケンスは、細胞分裂、増殖、および／または分化を含む。
【0012】
本発明の実施形態によれば、時間関連生物学的イベントのシーケンスは、細胞内構造の変化を含む。
【0013】
本発明の実施形態によれば、細胞内構造は、核、前核、細胞質、または細胞骨格である。
【0014】
本発明の実施形態によれば、リズムは打楽器的リズムである。
【0015】
本発明の実施形態によれば、方法は、時間関連生物学的イベントを表すリズム及び／又はメロディを、生物学的プロセスのビデオ又はタイムラプス撮影画像と組み合わせることを更に含む。
【0016】
本発明の実施形態によれば、正常な生物学的プロセスの時間関連生物学的イベントを表すリズムおよび／またはメロディは、異常な生物学的プロセスのそれとは異なる。
【0017】
本発明の実施形態によれば、正常な生物学的プロセスの時間関連生物学的イベントを表すリズムおよび／またはメロディは、異常な生物学的プロセスのリズムおよび／またはメロディよりもリズミカル（ｒｈｙｔｈｍｉｃ）および／または音楽的（ｍｅｌｏｄｉｃ）である。
【0018】
本発明の実施形態によれば、時間関連の生物学的イベントのシーケンスは、画像認識ソフトウェアを使用して生物学的プロセスのビデオ又はタイムラプス撮影画像から抽出される。
【0019】
本発明の実施形態によれば、リズム及び／又はメロディは、その経時的な変化について分析される。
【0020】
本発明の実施形態によれば、リズム及び／又はメロディは、信号処理アルゴリズムを使用して分析される。
【0021】
本発明の実施形態によれば、信号処理アルゴリズムは、人間が知覚可能かつ定量化可能な高レベル音楽情報を抽出する。
【0022】
本発明の実施形態によれば、信号処理アルゴリズムは、リズム及び／又はメロディのリズム周期性を抽出する。
【0023】
本発明の実施形態によれば、信号処理アルゴリズムは、リズム及び／又はメロディの自己相似性を測定する。
【0024】
本発明の別の態様によれば、非言語的音声を介して生物学的プロセスを表現するシステムが提供され、このシステムは、生物学的プロセスから時間関連生物学的イベントのシーケンスを抽出し、時間関連生物学的イベントのシーケンスを、時間関連生物学的イベントを表すリズムおよび／またはメロディに変換し、それによって非言語的音声を介して生物学的プロセスを表現するように構成された計算ユニットを含む。
【0025】
特に断りのない限り、本明細書で使用されるすべての技術用語および科学用語は、本発明が属する技術分野の当業者によって一般に理解されるものと同じ意味を有する。本明細書に記載されるものと類似または同等の方法および材料を、本発明の実施または試験において使用することができるが、好適な方法および材料を以下に記載する。矛盾する場合、定義を含む特許明細書が優先する。さらに、材料、方法、および実施例は、単に説明のためのものであって、限定を意図したものではない。
【0026】
本発明の方法及びシステムの実施は、選択されたタスク又はステップを手動で、自動的に、又はこれらの組み合わせで実行又は完了することを含む。さらに、本発明の方法およびシステムの好ましい実施形態の実際の計装および装置によれば、いくつかの選択されたステップを、任意のファームウェアの任意のオペレーティングシステム上のハードウェアまたはソフトウェア、あるいはこれらの組合せによって実施することができる。例えば、ハードウェアとして、本発明の選択されたステップは、チップ又は回路として実施することができる。ソフトウェアとして、本発明の選択されたステップは、任意の適切なオペレーティングシステムを使用してコンピュータによって実行される複数のソフトウェア命令として実施することができる。いずれの場合も、本発明の方法およびシステムの選択されたステップは、複数の命令を実行するためのコンピュータプラットフォームなどのデータプロセッサによって実行されるものとして説明されることができる。
【0027】
添付の図面を参照して、単なる例として本発明を以下に説明する。図面を特に詳細に参照すると、示された詳細は、例として、かつ本発明の好ましい実施形態の例示的な議論の目的のためだけのものであり、本発明の原理および概念的態様の最も有用で容易に理解される説明であると考えられるものを提供するために提示されていることが強調される。この点に関して、本発明の基本的な理解のために必要とされるよりも詳細に本発明の構造的詳細を示す試みは行われず、図面を用いた説明は、本発明のいくつかの形態を実際にどのように実施することができるかを当業者に明らかにする。
【図面の簡単な説明】
【0028】
【発明を実施するための形態】
【0029】
本発明は、リズム及び／又はメロディを介して生物学的プロセスを表現するために使用することができるシステムに関する。具体的には、本発明は、技術者が、どの胚がうまく移植される可能性がより高いかを音響的に検出することを可能にする方式で、胚の発生を表すために使用され得る。
【0030】
本発明の原理及び動作は、図面及び添付の説明を参照することによってより良く理解することができる。
【0031】
本発明の少なくとも一態様を詳細に説明する前に、本発明は、その適用が以下の説明に記載されるか、または実施例によって例示される詳細に限定されないことを理解されたい。本発明は、他の実施形態が可能であり、または様々な方法で実施または実行可能である。また、本明細書で使用される語法および専門用語は、説明の目的のためのものであって、限定と見なされるべきではないことを理解されたい。
【0032】
ＩＶＦ手順における胚選択は、着床の成功のための重要なステップである。発生中の胚の画像撮影および撮影画像の自動分析は進歩してきたが、手順の成功は依然として技術者の技能および経験に依存する。以前の出願において、本発明者らは、成功裏に移植された胚および成功裏に移植されなかった胚を撮影した画像（例えば、タイムラプスビデオの）から、ＩＶＦ移植成功の予測因子を同定するための自動化システムを考案した。
【0033】
追加のツールの必要性に対処するために、本発明者らは、着床前の胚スクリーニング手順を実質的に向上させるための、ユーザの音響的評価または自動システムに役立てる別の情報例を提供することができるシステムを考案した。
【0034】
したがって、本発明の一態様によれば、非言語的音声を介して生物学的プロセスを表現する方法が提供される。
【0035】
本方法は、生物学的プロセスから時間関連生物学的イベント（事象）のシーケンス（連続）を抽出し、このシーケンスを表現するリズムおよび／またはメロディ（本明細書では「音楽的可聴化音（ｍｕｓｉｃａｌ ｓｏｎｉｆｉｃａｔｉｏｎ）」とも呼ばれる）に変換することによって実行される。
【0036】
生物学的プロセスは、経時的な一連の生物学的イベントを含む任意のプロセスであってよい。このようなプロセスの例としては、疾患の進行、腫瘍の成長、器官の発達、脳の活動、心拍パターン、血圧の変化、呼吸器系、および胚の発達が挙げられるが、これらに限定されない。生物学的イベントは、観察され得る細胞下構造、細胞、または細胞の集合（例えば、組織／器官）に対する任意のマクロ的またはミクロ的変化であり得る。生物学的イベントの例としては、細胞分裂、細胞成長、腫瘍成長または収縮、組織／器官成長、移動、または核、前核、細胞質、細胞骨格、小胞体などの細胞内構造の変化が挙げられるが、これらに限定されない。これらのシーケンスは、リアルタイムで、またはこれらのペースが遅いか速い場合は、一連のイベントの時間圧縮または時間拡張を使用して監視することができる。
【0037】
時間関連生物学的イベントは、例えば、画像認識ソフトウェアを介して、生物学的プロセスのビデオ（例えば、顕微鏡スキャンのタイムラプスビデオ撮影）から抽出することができる。画像認識ソフトウェアは、タイムスタンプ及び識別子を用いて生物学的イベントを自動的に識別し、タグ付けすることができる。例えば、細胞分裂の場合、畳み込みニューラルネットワークなどの手段によって実施される画像解析によって、細胞分裂イベントを識別し、タイムスタンプと「細胞分裂」識別子を付与することができる。次いで、このようなイベントを使用して、以下でさらに説明するように、リズム、メロディ、ハーモニー、および／または音色の特定の部分を生成することができる。
【0038】
生物学的プロセス全体（例えば、受精から子宮への移植までのＩＶＦ胚発生）を可聴化すると、音楽的可聴化音を用いて生物学的プロセスの性質を評価することができる。例えば、発生（例えば、胚）の場合、そのオーディオトラックは、発生が正常であるか否かを評価するために使用され得る。また、オーディオトラックは、生物学的プロセスのビデオ又はタイムラプス撮影と整合され、組み合わされて、ビデオを分析する技術者に追加の情報レイヤを提供することができる。
【0039】
以下でさらに説明するように、正常な生物学的プロセスの時間関連生物学的イベントを表す音楽的可聴化音は、異常な生物学的プロセスのそれとは異なる。
【0040】
例えば、正常な生物学的プロセスは、異常な生物学的プロセスよりもリズミカル（ｒｈｙｔｈｍｉｃ）であると知覚され得る。この文脈におけるよりリズミカルとは、リズムがより規則的であること、例えば、主に拍動（ビート）に合致するリズム的イベントからなることを意味することができる。よりリズミカルでないパターンは、シンコペーションとしても知られ、より多くのイベントが拍動の間に生じるものからなる。リズミカルでないパターンは、拍動が全く検出されないような不規則な間隔を有するイベントから構成されてもよい。細胞分裂のような複雑なプロセスは、全体のシーケンスの任意の部分がリズミカルであるか、またはリズミカルでない、複数の同時パターンをもたらし得る。例えば、いくつかの細胞が正常に分裂し、いくつかの細胞が異常に分裂する場合、その音楽的等価物は、耳障りなノイズが重畳されたビートとなり得る。
【0041】
上述したように、音楽的可聴化音は、ユーザ（例えば、技術者）によって、または自動システムによって分析することができる。前者の場合、与えられた入力の「正しさ」が直観的に伝わるように、音楽出力の様々な構成態様を設計することができる。使用される音楽的態様は、リズム、メロディ、音色、及びハーモニーなどの複数の音楽的態様を含むことができる。リズムは、上述したように、シンコペーションの程度を介して直観的に正確さを伝えることができ、よりシンコペーションした（又はより規則的でない）リズムは、よりカオス的に聞こえ、したがって、入力が理想よりも低い（より正しくない）可能性があるという印象を聴取者に直観的に与える。
【0042】
メロディは、西洋音楽の調性全体にわたって見られる共通のパターンに依存することによって、正しさを伝えるように使用することができる。例えば、西洋音楽に精通した人は、全音階の長調を強く示唆するメロディを、幸せ、肯定的、又は良好として直観的に聞き、代わりに、何らかの全音階を調性の中心音として示唆しないメロディを、奇妙、不快、又は予測不可能として聞く。このように、所与の入力がどの程度適合しているかを聴取者に伝えるために、メロディが全音階長調の中心音をどの程度強く示唆するかを変更することができる。
【0043】
音色（Ｔｉｍｂｒｅ）は、音調、または楽音の音色を伝えることができる用語である。例えば、トランペットは、フレンチホルンよりも強く厳しい音色を有するものとして説明することができる。本システムでは、より快適でないトーンを生成するために、より多くのノイズ及び歪みを出力に導入することによって音色を変化させる。より騒音や歪みの大きい音は、聴取者にとってより説得力のないものとして直感的に聞かれるようになる。
【0044】
和音（ハーモニー）は、「正しさ」を伝えるために、可聴化におけるメロディ的な態様と併せて使用される。より成功した入力は、メロディックなコンテンツによって示唆される全音階中心音を主張する持続音（ｄｒｏｎｅ）を含む出力を生成するが、より成功しない例は、大きく歪んでおり、調性の中心音にあまり関連しない持続音を含む。また、持続音がメロディックコンテンツと無関係であると、西洋音楽の経験を持つ聴取者にとって不快感として聞こえ、強い違和感を伝え得る。
【0045】
自動解析の場合、音楽的可聴化音は、人間が知覚可能で定量化可能な高レベルの音楽情報（例えば、リズム及び／又はメロディのリズム周期性）を抽出し、リズム及び／又はメロディの自己相似性を測定することができる信号処理アルゴリズムに基づいて生成される。
【0046】
自己相似性は、所与の入力内のパターンを検出するために使用される。したがって、例えば、イベントがより規則的な間隔で発生する、よりリズミカルなパターンは、より変化した、またはカオス的な間隔を有するパターンよりも自己相似的である。この自動化手法は、各例を個別に聞き、評価する必要なく、大量の可聴化音データを検査するために使用することができる。
【0047】
人間の聴覚皮質は、時間的入力のパターンを検出するように高度に調整されている。例えば、人間の脳は、わずか１０ミリ秒だけ離間した２つの音声刺激の間の時間差に気付くことができる。このような微妙な時間差は、可視化によっては識別することができない。したがって、音楽的可聴化ベアは、視覚ベースの表現と比べて、時間ベースのイベント（胚細胞分裂シーケンスなど）におけるパターンをより良く表現することができる。
【0048】
ここで図面を参照すると、図１は、本明細書ではシステム１０で示される、非言語的音声（本明細書では可聴化音とも呼ばれる）を介して生物学的プロセスを表すためのシステムの一実施形態を示す。
【0049】
システム１０は、以下において胚発生の文脈で記載されるが、システム１０はまた別の生物学的プロセスを評価するために使用され得ることを理解されたい。
【0050】
システム１０は、着床前胚の発生を追跡する一連のタイムスタンプ付き画像を取得し、任意選択的に記憶するように構成されたコンピュータプラットフォーム１６を含む。システム１０は、画像撮影装置１４（例えば、カメラ付き顕微鏡）から取得された（タイムラプス）画像を記憶するデータ記憶装置１２と（例えば、クラウド１３又は有線接続を通じて）通信することができ、又は有線若しくは無線（例えば、クラウド１３）接続を通じて画像撮影装置１４と直接通信することができる。
【0051】
タイムスタンプ付き画像は、様々な時間間隔でのビデオ撮影、タイムラプス撮影、又は静止画撮影から導出することができる。例えば、画像は、胚から取得されたタイムラプス／ビデオ／静止画像を含む、記憶された画像データから導出することができる。
【0052】
いずれの場合も、タイムスタンプ付き画像は、胚発生の０時間から１５０時間までの（受精から受精後６日までの時間である）１５０時間までの期間を示し、１秒から２０分の間隔で離間されることができる。
【0053】
以下は、胚発生の可聴化のために本発明によって利用されるタイムスタンプ付き画像のシーケンスに含めることができる、受精卵母細胞から着床準備胚への発生における生物学的イベントの典型的な時点を表す。
【0054】
ｔ０：従来のＩＶＦで授精が起こる時間である。ＩＣＳＩ／ＩＭＳＩの場合、タイムラプスモニタリングシステムおよび実践において許容される場合、精子注入の時間を卵母細胞当たり記録することができるが、そうでない場合、その患者の卵母細胞のコホートについて注入が開始されてから終了する間の中間時点である。この時点を開始時刻とすることができる。
【0055】
ｔＰＢ２：第二極体（ＰＢ２）が放出される時間である。これは、ＰＢ２が卵細胞膜から完全に切り離されて見える最初のフレームでラベル付け（ａｎｎｏｔａｔｉｏｎ）される。第二極体の放出は、ウェル内の卵母細胞の位置によって、またはルーチンのＩＶＦ授精における卵丘細胞によって、覆い隠される場合がある。
【0056】
ｔＰＮ：受精状態を確認した時刻である。前核の消失（ｔＰＮｆ）の直前に受精のラベル付けをすることが推奨され、したがってｔＺ（前核の時間スコアリング）と一致し、それ以上の観察上の動的変化は起こらないと予想される。個々の前核の出現に、さらに、ｔＰＮｎａ（「ｎ」は個々の前核の出現「ａ」の順序）、例えば、ｔＰＮ１ａ、ｔＰＮ２ａ、ｔＰＮ３ａとして、第１、第２、第３などの前核が見えるようになった最初の時間に、ラベル付けすることができる。
【0057】
ｔＰＮｆ：両方の（または最後の）ＰＮが消失する時間である。このラベル付けは、胚が依然として１細胞段階にあるが前核をもはや可視化することができない最初のフレームでされる。前核消失は、個々の前核、ｔＰＮ１ｆ、ｔＰＮ２ｆなどに従ってさらに記録されることで（すなわち、それらの出現のラベル付けと同様に）、第１、第２、または追加の前核が消失する時間を示すことができる。
【0058】
ｔＺ：タイムラプスＰＮ評価の時間である。ＰＮは動的構造であり、それらは移動し、その形態はｔＰＮａとｔＰＮｆの間で変化し得る（Ａｚｚａｒｅｌｌｏら、２０１２）。最近、細胞質内の前核の動きおよび核膜の消失が、その後の胚盤胞発生の可能性を示し、したがって、胚の発生の可能性の初期の指標を提供する新規のパラメータを示し得ることが報告されている（Ｗｉｒｋａら、２０１３）。前核の出現および位置の変化は、前核内の核小体前駆体（ＮＰＢ）の移動と一致し得、差分ＰＮスコアリングを推定することを可能にする。また、タイムラプスユーザグループは必要に応じて、前核形態の変更が完了したことから、前核が消滅する（即ちｔＰＮｆ）前の最後のフレームにおいてＰＮスコアのラベル付けを推奨する。
【0059】
ｔ２：最初の細胞分裂又は有糸分裂の時間である。ｔ２は、２つの割球が個々の細胞膜によって完全に分離される最初のフレームである。
【0060】
ｔ３：３つの別個の細胞が最初に観察されるときである。３細胞期は、第２ラウンドの卵割の開始を示す。
【0061】
ｔｎ：これらの別個の細胞が初めて観察されたときである（割球のコンパクションが個々の細胞の可視化を妨げるまで）。
【0062】
ｔＳＣ：コンパクションの証拠が存在する最初のフレームである。任意の（２つの）細胞のコンパクション開始が観察される最初のフレームである。
【0063】
ｔＭｆ／ｐ：観察可能なコンパクションが完了したときに、コンパクションプロセスの終了を示す。桑実胚は、完全にまたは部分的にコンパクションされてもよく、ここで、ｆは完全を示し、ｐは部分的、即ち桑実胚には除外された材料があることを示す。コンパクションの程度および時間は、胚盤胞の形成および質と関連することが報告されている（Ｉｖｅｃら、Ｆｅｒｔｉｌｉｔｙ ａｎｄ ｓｔｅｒｉｌｉｔｙ，Ｖｏｌｕｍｅ ９６，Ｉｓｓｕｅ ６，Ｄｅｃｅｍｂｅｒ ２０１１，Ｐａｇｅｓ １４７３－１４７８．ｅ２ ２０１１）。
【0064】
本発明のオーディオトラック（リズム／メロディ）の作成には、上記の生体イベントのいずれかを用いることができる。
【0065】
一旦、胚発生のオーディオトラックが生成されると、本システムは、ビデオと共に、又はビデオとは別に、ユーザに対してトラックを再生することができる。聴取者は、その音声を再生し、上述した様々な音楽的態様（メロディ、リズム、音色、ハーモニー）を聞くことができ、その出力を直観的に評価することができる。
【0066】
図４Ａ～４Ｂ、図５Ａ～５Ｂ、図６Ａ～６Ｂは、移植の成功（図４Ａ、５Ａ、６Ａ）と移植の失敗（図４Ｂ、５Ｂ、６Ｂ）の音楽的可聴化音の例を示す。上部の画像は胚発生の段階、即ち、第１、第２、および第３の有糸分裂イベント（２つの細胞への分裂）を示し、下部の画像は可聴化音を表す。受精後、卵細胞は胚盤胞、すなわち子宮内への着床の準備ができた細胞の塊で終わるプロセスを経る。有糸分裂は胚に特異的な一時的パターンを示すため、例えば、第１の細胞が胚の平均と比べて早期に分裂する場合、第２および第３の細胞も早期に分裂すると予想される。図４Ｂ、５Ｂ、および６Ｂに示されるように、予想されるパターンからの偏差は、不十分な胚の結果と相関する。
【0067】
図４Ａ～６Ｂの下部のパネルは、分裂が移植に成功した胚のものであるか、または移植に成功しなかった胚のものであるかに従って生成される、可聴化音の異なる音楽要素を図示する。各図は、候補の胚の３つの分割（ｔ２、ｔ３、ｔ４）を示しており、各図の上部にある胚の４つの画像の間に３つの矢印で示されている。図４Ａは、移植に成功した胚についての結果として生じるメロディを示す。細い線で繋がれた３つの分裂イベント（ｔ２、ｔ３、ｔ４）は、生成されたメロディイベントと直接的にどのように対応しているか（各分裂イベントが直接音符を鳴らすきっかけとなる）を示すために図示されている。この五線の例はト音記号であるが、これは図を過度に混雑させないために省略された。この例で生成される音符は、３つの音符がハ長調長三和音を綴るので、全音階長調を強く示唆している。西洋音楽では、長三和音は一般に陽性と関連することが多いため、ここでの使用はこの胚の成功とよく一致する。
【0068】
図４Ｂは、移植が不成功であった胚と、本発明によって生成された結果として生じるメロディの一例である。図４Ａのメロディとは異なり、図４Ｂのメロディは全音階の調性を示唆しない。図４Ｂのメロディの最初の２つの音符は、「三全音（ｔｒｉｔｏｎｅ）」として知られる距離だけ離れている。西洋音楽では、三全音はしばしば何らかの不安を示すために最も頻繁に使用される、耳障りな間隔と見なされ、したがって、このメロディにおけるこの間隔の存在および暗黙の調性の欠如は、この胚が成功したものではないことを聴取者に強く示す。
【0069】
図５Ａは、移植に成功した胚について生成されるリズムを示す。ここで生成されるリズムは、基本的にはロックンロールビートである。このリズムでは、ダウンビートはキックドラムヒット－この楽譜ではイ音（ｌｏｗ ａ）として表記（これらの例も、図４Ａ、４Ｂの例と同様、ト音記号で記載）－により強調され、弱拍またはアップビートはスネアヒット（中央のハ音（ｃ））により強調され、従って各ドラムヒットは直接、拍上に発生する。これらのドラムヒットと共に発生する、連続する八分音符のハイハットシンバルパターンがあり、これはリズムに強くかつ明確なビート感を与えるのに役立つ。このリズムの規則性は、聴取者に「期待感」を伝えるはずであり、リズムのビート感の強さおよび典型的なビート強調パターンは、例示的な胚の成功とよく対応する。
【0070】
図５Ｂは、図５Ａのリズムとは異なり、移植が不成功であった胚およびその結果として生じるリズムであり、ほとんどのドラムビートは、拍上で発生しない。リズムがビートから外れて発生するイベントを有する場合、これはシンコペーションとして知られている。シンコペーションは、例えば、無調メロディのような否定的な感覚をユーザに必ずしも伝えないが、これらのリズムはしばしば、よりエキゾチックであり、恐らくは奇妙でさえあるように聞こえる。１つのドラムビート（第２のキックドラムヒット）のみが実際にビートと整合するが、これは収束せず、このリズムはもはや知覚される規則性を与えない。残りの要素は非常に不規則であるため、聴取者は、完全ではないにしても、ほとんどリズム感がないものとして、このリズムを聞き得る。この不規則かつ高度にシンコペーションしたリズムは、この胚が成功しないことを明らかに伝える。
【0071】
図６Ａおよび図６Ｂは、可聴化音の生成されたメロディのスペクトル図である。スペクトル図は、候補の胚の成功又は失敗を反映するように、メロディのサウンド要素が、その構成音のみの域を超えて、どのように生成されるかを示すために使用される。
【0072】
図６Ａは、移植に成功した胚について行われた可聴化の音色構成要素を示す。本明細書では、この音色成分を示すためにスペクトル図を使用する。スペクトル図は、所与の音の周波数要素を示し、図６Ａの例では細かく分割された平行線を示している。平行線は、３つの部分にセグメント化され、それぞれ異なる垂直オフセットを有し、これは単に、３つの別々の音符が演奏されることを表す。図４Ａおよび図４Ｂの例と非常によく似て、分裂イベント（図の上側の３つの矢印として表されるｔ２、ｔ３、およびｔ４）と、スペクトル図で見える３つの別々の音符との間の直接マッピングが示されている。この場合、スペクトル図における平行線のそれぞれがどの程度明確に区別できるかが重要となり、これは、これらの音符が明確なピッチを有することを意味する。したがって、成功した胚は、非常に明瞭で、ノイズの多い音成分を含まない音色を有する。
【0073】
図６Ｂは、失敗した胚から得られた可聴化音のスペクトル（または音色）成分を示す。図６Ａと同じ平行線構造が示されているが、線がはるかに明確でないことは明らかであり、これは、この例のトーン／ピッチがはるかに明確でなく、図６Ａのトーン／ピッチよりもかなりの量のノイズの多い音で聞こえることを意味する。ノイズの多い音は、通常、ノイズの少ない同等の音よりも奇妙であるか、または不快でさえあると知覚されるので、ノイズの多いこと、および明確なトーンがないことは、ユーザにとってより否定的な印象を伝える。
【0074】
上記のように、本発明はまた、疾患の進行、腫瘍の成長、器官の発達、脳の活動、心拍パターン、血圧の変化、呼吸器系、ならびに他の病理、状態、および障害を表すために好適であり得る。
【0075】
本明細書中で使用される場合、用語「約」は、±１０％をいう。
【0076】
本発明のさらなる目的、利点、および新規な特徴は、限定することを意図しない以下の実施例を検討することによって、当業者に明らかになるであろう。
【実施例】
【0077】
次に、上記の説明と共に本発明を非限定的に示す以下の実施例を参照する。
【0078】
（胚発生の可聴化）
【0079】
受精胚のタイムラプスビデオを可聴化するシステムを開発し、試験した。このシステムは、音領域において胚の発生を調査することを可能にする。このシステムは、（ｉ）成功する可能性がより高い胚の検出、（ｉｉ）対外受精を受ける間に母親が経験するプロセスを改善するために芸術的目的から胚に美的な特徴（ａｅｓｔｈｅｔｉｃ ｆｉｎｇｅｒｐｒｉｎｔ）を提供すること、および（ｉｉｉ）生物学的プロセスのスクリーニングに適用可能な、音楽および音響研究で発見された新しいツールおよび技法を研究者に提供すること、の３つの主な提案された用途を有する。
【0080】
可聴化システムは、打楽器音（ｐｅｒｃｕｓｓｉｏｎ）、ドラムループ、メロディ、持続音などを利用して、胚の発生のタイムラプスビデオに存在するタイムスタンプ付きの生物学的イベントを、ユーザによって聞くことができる音楽的可聴化音に変換する。各ビデオは、データ分析システムによって分析され、様々な時系列データポイントを生成する。この研究で使用されるデータポイントは、ｔ２、ｔ３、ｔ４、ｔ５、ｔ６、ｔ７、ｔ８、およびｔ９とラベル付けされ、細胞分裂イベントに対応する（例えば、ｔ３は、少なくとも３つの細胞が出現する最初のフレームである）。
【0081】
可聴化音の打楽器的特徴は、第１の最も基本的な特徴である。８つのｔイベントのそれぞれが、一意の打楽器サンプルをトリガする。これにより、各胚ビデオのための独特の打楽器トラックが生成される。また、ユーザは、各ｔイベントにマッピングされる１つ以上の打楽器音を選択することができる。打楽器音は、様々なキックドラム、ハンドドラム、及びシンバルサンプルを含むことができる。
【0082】
ドラムループ機能は、ドラムループがタイムラプスビデオの時間に合わせて、ドラムループがシームレスに繰り返すように再生されることを可能にする。この特徴は、他の可聴化要素を積み重ねることができる背景リズム的コンテキストを追加するために追加される。このアイデアは、この背景リズム的コンテキストが、ユーザがよりリズム感をもって可聴化音を解釈するのを助けることができ、ユーザが、非音楽的コンテキストの外側では検出できない可能性がある微妙な時間差を検出することを可能にすることである。ドラムループの他の用途は、全体の音楽性を向上させるために可聴化音の美的なバックボーンを提供することである。
【0083】
可聴化音のメロディ特徴は、ｔイベントが、異なる打楽器サンプルではなく、音階の異なる音符にマッピングされることを除いて、打楽器的特徴とよく似ている。メロディモードには、カスタム音階モードと固定音階モードの２つのモードがある。固定音階モードは、２つのモードのうちのより簡単なものである。固定音階モードでは、各ｔイベント（２～９）は、この音度のパターン、即ち１，３，８，６，４，２，５，７にマッピングされる。システムは、長調、単調、五音音階、ペルシャ音階、ナハワンド（ｎａｈａｗａｎｄ）、バヤティ（ｂａｙａｔｉ）、ジハルカ（ｊｉｈａｒｋａｈ）から選択される７つの音階を有することができる。ナハワンド、バヤティ、ジハルカは、アラビア・マカーム（Ａｒａｂｉｃ ｍａｑａｍ）の伝統から得られた音階である。音度のパターンは、主に、西洋音楽の全音階（長調又は単調）が選択された場合に、グループ化されたイベントが心地よさを暗示するコード進行を形成するように選択された。
【0084】
図２は、長調音階のｔイベントのマッピングの一例を示す図である。ここで、暗示されるコード進行は、西洋和音の非常に一般的な進行であるＩ－ｉｉ－Ｖである。選択された音階が少なくとも７つの別個の音符を有さない場合（例えば、五音音階）、音階は、音階の音度パターンを生成するのに十分な音符が示されるまで、オクターブを超えて継続される。このことは、このパターンが、全ての場合（すなわち、五音音階）において、心地よさを暗示するコード進行を生成するわけではないことを意味する。しかし、音度パターンはまた、２つの連続するｔイベントが、所望の音階において連続していない音符をトリガすることを確実にし、これは全体として、２つのｔイベントが互いに近接して発生する場合に、不協和音に聞こえる和音を回避する。より複雑なカスタム音階モードでは、ｔ個のイベントの相対間隔が、音階内の各音符の頻度を決定する。これは、各胚がそれに関連する固有の音階を有することを意味する。また、カスタム音階のｉ番目のｍｉｄｉピッチは、次式で表される。
【0085】
【数1】
【0086】
次いで、このｍｉｄｉピッチを、カスタム音階の各音符の所望の周波数に変換することができる。
【0087】
持続音の第１の変形形態は、他の可聴化特徴に美的背景を提供し、全体的な視覚活動に基づく。持続音のこの変形と第２の変形の両方は、それらがビデオを直接分析する点で他の可聴化特徴とは異なり、他の可聴化特徴は、より高いレベルのラベル付けされたデータ（ｔイベント）に依存する。この特徴のための分析は、極めて原始的であり、低レベルである。２つの連続するビデオフレーム間の平均ピクセル差が決定され、バッファに供給され、前の１１個の値に対する連続メジアンフィルタを使用して、ビデオ内で発生する動きの量に対応する、フィルタリングされたデータストリームを生成する。次いで、このデータストリームは、ビデオが動きの点でより活発（アクティブ）になるにつれて、そのトーンにおいてより明るく、より活発になる持続音を生成するために、様々なシンセサイザパラメータ上にマッピングされる。この持続音は、メロディ機能に存在するすべての音階の共通の開始音として選択されたＣ音符を中心とし、これにより持続音は、可聴化サウンドスケープの残りの部分に対して音楽的に相補的になる。
【0088】
持続音の第２の変形は、第１の変形と同様に、Ｈｏｒｎ－Ｓｃｈｕｎｋ技法を使用してビデオを分析して動きを捕捉し、オプティカルフローを計算する。オプティカルフローは通常、ビデオ圧縮アルゴリズムで使用され、フレームからフレームへ移動するピクセルのみを特定することを試み、次いで、ビデオフレーム全体の代わりにそのピクセル移動のみを符号化し、これによりビデオファイルサイズを圧縮するものである。この研究では、オプティカルフローを、ビデオを圧縮するために使用せず、むしろビデオにおける動きを決定するために使用した。オプティカルフローデータは、各方向（左、右、上、及び下）に生じる全てのピクセル移動に対応する４つのフレームに分割された。次いで、これらのフレームのそれぞれを平均し、持続音の第１の変形形態のものと同様の方法でフィルタリングを適用して、１つだけではなく４つのデータストリームを生成した。基音（ｂａｓｉｃ）又は持続音は、これらの４つのデータストリームを４オペレータｆｍシンセサイザのオペレータ周波数にマッピングすることによって生成される。次いで、４つのデータストリームを使用して、持続音を空間音響化した。この持続音の空間化音響は、可聴化においてステレオオーディオに依存する唯一の態様である。空間音響化のためのマッピングの基本的な考え方は、左右のオプティカルフローの量に基づいて、左右のチャネルをよりアクティブ、またはよりアクティブでなくすることである。持続音のさらなる変調のためには、入力ビデオの何らかの記述を必要とする、このマッピングのために他のアイデアもある。
【0089】
ビデオは、細胞の成長及び分裂を示し、したがってビデオ内の移動は、細胞がビデオ内で円として現れるので、４つの基本方向で同様であることが予期される。しかし、細胞が分裂する場合、移動が全ての方向で同様であるという期待はより少ない。このような移動の非対称性を表現するために、オプティカルフローデータの４つのストリーム間の類似性を持続音シンセサイザの様々なパラメータにマッピングして、類似性がより低い場合に持続音をより歪め、アクティブにした。この持続音の変形は、絶えず変化するピッチであるため、必ずしもメロディ特徴を補完するわけではないが、より音楽的にすることができる。
【0090】
（データ分析）
【0091】
データ分析は、可聴化オーディオの構造分析を実行するために自己相似性行列（ｓｅｌｆ－ｓｉｍｉｌａｒｉｔｙ ｍａｔｒｉｘ：ＳＳＭ）を利用したが、これは、音楽構造分析でしばしば使用される技法、即ちＳＳＭが、この領域に適用可能である可能性があると仮定したものである。
【0092】
ＳＳＭは音楽構造解析に使用され、ＳＳＭの背景にある基本的な考え方は、入力オーディオサンプル全体の各点が互いにどの程度相似しているかを示すことである。計算されたＳＳＭの一例が図３に示されており、より明るいピクセルはより高い相似性に対応する。
【0093】
ＳＳＭを計算するために、可聴化オーディオを、デフォルトで１００ｍｓ毎にサンプリングされる長さ２５ｍｓのウインドウに分割した。インターフェースにより、ユーザはこれらの値を変更することができる。次いで、メル周波数ケプストラム係数（Ｍｅｌ Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ：ＭＦＣＣ）を、これらのウインドウのそれぞれについて計算し、次いで、各特徴ベクトルを、それに続く９つの特徴ベクトルでグループ化し、１０個の特徴ベクトルのグループを作成した。そして、これらの１０個の特徴ベクトルのグループ分けを、各グループのペアワイズドット積を合計することで互いにグループ分けして比較し、１つの相似性スコアを得る。そこで、所与の特徴ベクトルＦ［１・・・ｎ］、グループサイズＳ（デフォルトは１０）、（ｎ－Ｓ－１）×（ｎ－Ｓ－１）行列が計算され、ここで、座標ｘおよびｙについて（ｘとｙの範囲は共に１～（ｎ－Ｓ－１）の間）行列内の各セルは、以下の式で表される。
【0094】
【数2】
【0095】
データセットは、２２４８のタイムラプスビデオを含み、各タイムラプスビデオは、対応する事前計算された時系列データを有する。また、各胚映像に関連付けられたデータの１つが、胚の着床に成功したか否かを示す「ｂｅｔａ＿ｐｒｅｇｎａｎｃｙ＿ｔｅｓｔ」と呼ばれるフラグとされている。このフラグに基づいて、データセットを１１９７個の失敗胚と１０５１個の成功胚に分けた。
【0096】
成功した胚と失敗した胚との間の全体的な相似性に有意差があるかどうかを調べるために、バッチ出力特徴を可聴化ソフトウェアに追加した。バッチ出力を使用すると、ユーザは、ＳＳＭを計算したい複数のビデオファイルを含むフォルダを指定することができる。フォルダが選択されると、システムは自動的に各ファイルを可聴化し、その後、システムは各可聴化音のＳＭＭを計算する。各ＳＳＭは、画像ではなくＣＳＶファイルとして記憶されるので、データを正確に保存し、さらなる分析のために再ロードすることができる。成功した胚および失敗した胚のすべてについてＳＳＭをバッチ計算した。可聴化音は、典型的には開始時又は終了時にいくらかの量の無音を含んでいたので、ＳＳＭのエッジにおける低い相似点を除去するための閾値が設定された。次いで、行列全体の平均相似性を計算し、成功した胚および失敗した胚のすべての平均相似性スコアを計算した。次いで、これら２つのセットの平均を比較し、結果は、成功した胚が、失敗した胚よりも一般的に高い平均相似性スコアを有することを示した。ｔ検定を実行すると、ｔ統計量が４．５６となり、ｐ値は５．８０ｅ－６となる。
【0097】
上記のように、可聴化に使用されるデータは、細胞分裂が起こる時間を表す、ｔ２～ｔ９とラベル付けされた一連の時間イベントを含む。可聴化音は、これらのイベントの特定の音へのマッピングを表すので、胚分裂データを使用して、可聴化オーディオに依存せずにＳＳＭを計算した。この手法は、音楽構造分析で典型的に使用される技法に依存し、可聴化の使用に直接的に触発されたものである。これらのＳＳＭを計算することは、可聴化オーディオのＳＳＭを計算することよりもはるかに単純であった。各ＳＳＭを計算するために、一連のｔ２～ｔ８を基本入力として使用した。次いで、可能なすべての回転に対する入力ベクトルの各回転の相似性（単純なユークリッド距離）を計算し、８×８行列を生成した。説明のために、入力ベクトルの最初の回転は、［ｔ３，ｔ４，ｔ５，ｔ６，ｔ７，ｔ８，ｔ２］のようになり、ここで、ｔ２は、最初の回転の後、ベクトルの最後にあることに注意されたい。この手法をデータセット全体に適用することで、各胚に対する平均相似性値の割り当てが可能となった。結果は、前の手法（可聴化音からＳＳＭを計算する）と同様に、成功した胚は、一般に、失敗した胚よりも高い平均相似性スコアを有することを示した。ｔ検定を実行すると、ｔ統計量は－３．５５となり、ｐ値は０．０００４０となる。この場合、相似性を計算する方法を考えると、値が小さいほど相似性が高いことを意味するので、ｔ統計量の符号はこの実験では負である。したがって、この結果は、前の実験の結果と一致する。
【0098】
次いで、本研究は、これらのＳＳＭが、イベントデータから直接に生成された８×８ ＳＳＭを使用することによって、候補の胚が成功したかどうかを分類するために使用される機械学習モデルに供給される特徴として使用され得るかどうかを試験した。この研究は、最初に、等しい数の失敗した胚および成功した胚が存在するように、データセットのバランスをとった。次いで、このデータを、モデルを訓練するために使用される１６８６の例と、モデルを試験するための５６２の例とに分割し、この２値分類を、サポートベクターマシンによって行った。モデルを試験データ上で実行すると、収束域グラフの曲線下面積（ＡＵＣ－ＲＯＣ）は０．５５となった。
【0099】
統計分析から、分裂イベントによって生成されるリズムが、失敗した胚とは対照的に、成功した胚について有意に自己相似していることが明らかである。
【0100】
分かり易くするために別々の実施形態の文脈で説明されている本発明の特定の特徴を、単一の実施形態で組み合わせて提供することもできることを理解されたい。逆に、簡潔さのために単一の実施形態の文脈で説明される本発明の様々な特徴は、別々に、または任意の適切なサブコンビネーションで提供されてもよい。
【0101】
本発明をその特定の実施形態と併せて説明したが、多くの代替形態、修正形態、および変形形態が当業者には明らかであろうことが明らかである。したがって、本発明は、添付の特許請求の範囲の主旨および広い範囲内にあるそのような代替形態、修正形態、および変形形態のすべてを包含するものとする。本明細書中で言及される全ての刊行物、特許、および特許出願は、あたかも各個々の刊行物、特許、または特許出願が具体的に、かつ個別に、本明細書中で参照により援用されるように明示されたかのように、その全体が本明細書中に参照により援用される。また、本願における何らかの文献の引用又は特定は、その文献が本発明の先行技術として利用可能であることを認めるものと解釈してはならない。セクション見出しが使用される範囲で、それらは必ずしも本発明を限定するものとして解釈されるべきではない。さらに、本出願の任意の優先権文書は、その全体が参照により本明細書に援用される。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【国際調査報告】