(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-12
(45)【発行日】2024-11-20
(54)【発明の名称】情報処理装置、及びコンピュータプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20241113BHJP
【FI】
G06N20/00 130
(21)【出願番号】P 2020188808
(22)【出願日】2020-11-12
【審査請求日】2023-11-06
【新規性喪失の例外の表示】特許法第30条第2項適用 1.ウェブサイトのアドレス https://kjciee.org/kjciee2019/、掲載日:令和1年11月15日 2.令和元年電気関係学会関西連合大会、開催日:令和1年12月1日
(73)【特許権者】
【識別番号】504255685
【氏名又は名称】国立大学法人京都工芸繊維大学
(73)【特許権者】
【識別番号】504157024
【氏名又は名称】国立大学法人東北大学
(74)【代理人】
【識別番号】100101454
【氏名又は名称】山田 卓二
(74)【代理人】
【識別番号】100132241
【氏名又は名称】岡部 博史
(74)【代理人】
【識別番号】100135703
【氏名又は名称】岡部 英隆
(72)【発明者】
【氏名】梶村 昇吾
(72)【発明者】
【氏名】伊藤 文人
【審査官】宮司 卓佳
(56)【参考文献】
【文献】特開2010-244468(JP,A)
【文献】特開平07-021146(JP,A)
【文献】国際公開第2020/218013(WO,A1)
【文献】西村翔馬他,脳波測定による個人のデフォルトモードネットワークの情報量的特定とその安定性の評価,第37回大会論文集 [USB] 日本認知科学会第37回大会,2020年09月17日,p.276-p.278
(58)【調査した分野】(Int.Cl.,DB名)
G06N 20/00
A61B 5/00-5/398
(57)【特許請求の範囲】
【請求項1】
人間同士の相性を予測するための情報処理装置であって、
演算回路と、
予測モデルを記憶する記憶装置と、
人間の脳の活動の変化を示す時系列データを取得する入力インタフェースと、
人間同士の相性の予測結果を出力する出力インタフェースと
を備え、
前記人間の脳は複数の脳領域を含み、前記複数の脳領域の各々は前記脳が有する複数の機能の各々と関連付けられており、
前記時系列データは、前記複数の脳領域の各々から取得された、各脳領域の活動の時間的な変化を示すデータを含み、
前記入力インタフェースは、第1の人間及び第2の人間の各時系列データである第1時系列データ及び第2時系列データを取得し、
前記演算回路は、
前記第1時系列データ及び前記第2時系列データの各々を利用して、前記複数の脳領域のうちから選択された2つの脳領域の組み合わせ毎に、脳領域間の機能的な結合の程度を示す相関係数を算出することにより、前記第1の人間の脳領域間の相関係数の集合である第1相関行列及び前記第2の人間の脳領域間の相関係数の集合である第2相関行列を生成し、
前記第1相関行列及び前記第2相関行列を利用して、前記第1の人間と前記第2の人間との間の、脳領域間の機能的な結合の相違を示す特徴量ベクトルを算出し、
前記特徴量ベクトルを前記予測モデルに入力して、前記第1の人間と前記第2の人間との相性を予測し、
前記予測モデルは、少なくとも、
相性が良いことが予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いことを示す第1相性ラベルとの組み合わせである第1の種類の教師データ、及び、
相性が良いとは言えないことが予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いとは言えないことを示す第2相性ラベルとの組み合わせである第2の種類の教師データ
を、それぞれ用いて機械学習が行われることによって構築されている
情報処理装置。
【請求項2】
前記時系列データは、
fMRI装置で撮影された複数のfMRI画像から得られた所定の周波数帯域の時系列波形データ、
脳波計で取得された、脳の電気的な活動によって生じる電位の変化を示す時系列脳波データ、
脳磁計で取得された、脳の電気的な活動によって生じる磁場の変化を示す時系列脳磁場データ、および/または、
NIRS計測装置で近赤外線分光法を用いて計測された、脳の血流動態の変化である時系列脳データ
である、請求項1に記載の情報処理装置。
【請求項3】
前記時系列データが、前記所定の周波数帯域の時系列波形データである場合において、前記周波数帯域は、0.118Hz~0.216Hzの一部または全部、および/または、0.059Hz~0.118Hzの一部または全部を含む、請求項
2に記載の情報処理装置。
【請求項4】
前記複数の脳領域はM個存在し、
前記第1相関行列及び前記第2相関行列は、M×M行列であり、
前記行列の(i,j)成分及び(j,i)成分は、第i番目の脳領域と第j番目の脳領域の脳領域間の機能的な結合の程度を示す相関係数である
請求項1から3のいずれかに記載の情報処理装置。
【請求項5】
前記特徴量ベクトルは、前記第1相関行列と、前記第2相関行列との差分の絶対値として算出される、請求項4に記載の情報処理装置。
【請求項6】
前記予測モデルは、エラスティックネットの正則化項を有するスパースロジスティック回帰を用いて構築されている、請求項1から5のいずれかに記載の情報処理装置。
【請求項7】
前記第1の人間及び前記第2の人間は、男性及び女性であり、
前記予測モデルの構築に用いられた、前記相性が良いことが予め判明している2名の人間は男性及び女性であり、前記相性が良いとは言えないことが予め判明している2名の人間は男性及び女性である、請求項1から6のいずれかに記載の情報処理装置。
【請求項8】
前記第1の人間及び前記第2の人間は、互いに同性であり、
前記予測モデルの構築に用いられた、前記相性が良いことが予め判明している2名の人間は互いに同性であり、前記相性が良いとは言えないことが予め判明している2名の人間は互いに同性である、請求項1から6のいずれかに記載の情報処理装置。
【請求項9】
前記第1の人間及び前記第2の人間は、社会的または組織内の立場が相対的に高い人間及び低い人間であり、
前記予測モデルの構築に用いられた、前記相性が良いことが予め判明している2名の人間は、社会的または組織内の立場が相対的に高い人間及び低い人間であり、前記相性が良いとは言えないことが予め判明している2名の人間は、社会的または組織内の立場が相対的に高い人間及び低い人間である、請求項1から6のいずれかに記載の情報処理装置。
【請求項10】
前記記憶装置は、前記時系列データを保持し、
前記入力インタフェースは、前記演算回路と接続された入力端子であり、前記記憶装置から読み出された前記時系列データを取得して前記演算回路に入力する、請求項1から9のいずれかに記載の情報処理装置。
【請求項11】
前記時系列データは、外部の装置によって収集または保持され、
前記入力インタフェースは、前記外部の装置から通信回線を介して送信された前記時系列データを受信する通信端子である、請求項1から9のいずれに記載の情報処理装置。
【請求項12】
前記出力インタフェースは、前記演算回路と接続された出力端子であり、前記演算回路から出力された前記予測結果を出力する、請求項1から11のいずれかに記載の情報処理装置。
【請求項13】
前記出力インタフェースは、映像出力端子である、請求項12に記載の情報処理装置。
【請求項14】
前記出力インタフェースは、前記予測結果を通信回線に出力する通信端子である、請求項1から11のいずれかに記載の情報処理装置。
【請求項15】
前記予測モデルは、前記第1の種類の教師データ及び前記第2の種類の教師データに加え、さらに1または複数の他の種類の教師データを用いて前記機械学習が行われることによって構築されており、
前記1または複数の他の種類の教師データは、
相性が良いこと、及び、相性が良いとは言えないこと、との関係で相対的に決定される相性の程度が予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、前記相性の程度を示す1または複数の相性ラベルとの組み合わせである、請求項1から14のいずれかに記載の情報処理装置。
【請求項16】
情報処理装置の演算回路によって実行されて、前記情報処理装置に人間同士の相性を予測させるコンピュータプログラムであって、
前記情報処理装置は、
前記演算回路と、
予測モデルを記憶する記憶装置と、
人間の脳の活動の変化を示す時系列データを取得する入力インタフェースと、
人間同士の相性の予測結果を出力する出力インタフェースと
を備え、
前記人間の脳は複数の脳領域を含み、前記複数の脳領域の各々は前記脳が有する複数の機能の各々と関連付けられており、
前記時系列データは、前記複数の脳領域の各々から取得された、各脳領域の活動の時間的な変化を示すデータを含み、
前記コンピュータプログラムは、前記演算回路に、
前記入力インタフェースを介して、第1の人間及び第2の人間の各時系列データである第1時系列データ及び第2時系列データを取得させ、
前記第1時系列データ及び前記第2時系列データの各々を利用して、前記複数の脳領域のうちから選択された2つの脳領域の組み合わせ毎に、脳領域間の機能的な結合の程度を示す相関係数を算出させることにより、前記第1の人間の脳領域間の相関係数の集合である第1相関行列及び前記第2の人間の脳領域間の相関係数の集合である第2相関行列を生成させ、
第1相関行列及び前記第2相関行列を利用して、前記第1の人間と前記第2の人間との間の、脳領域間の機能的な結合の相違を示す特徴量ベクトルを算出させ、
前記特徴量ベクトルを前記予測モデルに入力して、前記第1の人間と前記第2の人間との相性を予測させ、
前記予測モデルは、少なくとも、
相性が良いことが予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いことを示す第1相性ラベルとの組み合わせである第1の種類の教師データ、及び、
相性が良いとは言えないことが予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いとは言えないことを示す第2相性ラベルとの組み合わせである第2の種類の教師データ
を、それぞれ用いて機械学習が行われることによって構築されている、コンピュータプログラム。
【請求項17】
前記予測モデルをさらに包含する、請求項16に記載のコンピュータプログラム。
【請求項18】
第1の人間と第2の人間との間の相性を予測するための学習済み予測モデルであって、
前記
学習済み予測モデル
のパラメータは、少なくとも、
相性が良いことが予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いことを示す第1相性ラベルとの組み合わせである第1の種類の教師データ、及び、
相性が良いとは言えないことが予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いとは言えないことを示す第2相性ラベルとの組み合わせである第2の種類の教師データ
を、それぞれ用いて機械学習が行われることによって
調整されており、
コンピュータを、
前記第1の人間と前記第2の人間との間の脳領域間の機能的な結合の相違を示す特徴量ベクトル
を入力として受け付け、
入力された前記特徴量ベクトルに対して前記パラメータに基づく演算を行い、前記第1の人間と前記第2の人間との相性を予測結果として出力する
よう、
機能させる、学習済み予測モデル。
【請求項19】
人間の脳は複数の脳領域を含み、前記複数の脳領域の各々は前記脳が有する複数の機能の各々と関連付けられており、
前記2名の人間同士の特徴量ベクトルは、
前記2名の人間の各々から第1時系列データ及び第2時系列データを取得する工程であって、前記第1時系列データは、前記2名の人間の一方の各脳領域から取得された、前記各脳領域の活動の時間的な変化を示す時系列データであり、前記第2時系列データは、前記2名の人間の他方の各脳領域から取得された、前記各脳領域の活動の時間的な変化を示す時系列データである、工程と、
前記第1時系列データ、及び前記第2時系列データの各々を利用して、前記複数の脳領域のうちから選択された2つの脳領域の組み合わせ毎に、脳領域間の機能的な結合の程度を示す相関係数を算出することにより、前記2名の人間の一方の脳領域間の相関係数の集合である第1相関行列及び前記2名の人間の他方の脳領域間の相関係数の集合である第2相関行列を生成する工程と、
前記第1相関行列及び前記第2相関行列の差分の絶対値を算出する工程と
によって算出される、請求項18に記載の学習済み予測モデル。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、及びコンピュータプログラムに関する。
【背景技術】
【0002】
従来、脳波、脳磁場、磁気共鳴画像等を利用した人間の脳機能の研究が行われてきた。例えば非特許文献1は、脳活動の周波数には個人差があり、個人の組み合わせにより脳活動が同期しやすい、または同期しにくい、という一種の相性がある可能性に言及している。また非特許文献1は、友人としての親しさが深い程、fMRIデータを利用して検討すると安静時の脳活動パターンの類似度が高かったという知見が存在することにも言及している。
【先行技術文献】
【特許文献】
【0003】
【文献】心理学評論 2016, Vol. 59, No. 3, pp. 283-291, 大平英樹、「脳活動の動機を導くメカニズム」
【発明の概要】
【発明が解決しようとする課題】
【0004】
対面前に、2名の人間同士の相性を予測することができれば種々の場面に活用ができる。
本開示は、2名の人間同士の相性を精度良く予測するための技術を提供する。
【課題を解決するための手段】
【0005】
本開示の一態様に係る情報処理装置は、人間同士の相性を予測するための情報処理装置である。情報処理装置は、演算回路と、予測モデルを記憶する記憶装置と、人間の脳の活動の変化を示す時系列データを取得する入力インタフェースと、人間同士の相性の予測結果を出力する出力インタフェースとを備えている。人間の脳は複数の脳領域を含み、複数の脳領域の各々は脳が有する複数の機能の各々と関連付けられている。時系列データは、複数の脳領域の各々から取得された、各脳領域の活動の時間的な変化を示すデータを含む。入力インタフェースは、第1の人間及び第2の人間の各時系列データである第1時系列データ及び第2時系列データを取得する。演算回路は、第1時系列データ及び第2時系列データの各々を利用して、複数の脳領域のうちから選択された2つの脳領域の組み合わせ毎に、脳領域間の機能的な結合の程度を示す相関係数を算出することにより、第1の人間の脳領域間の相関係数の集合である第1相関行列及び第2の人間の脳領域間の相関係数の集合である第2相関行列を生成する。また演算回路は、第1相関行列及び第2相関行列を利用して、第1の人間と第2の人間との間の、脳領域間の機能的な結合の相違を示す特徴量ベクトルを算出し、特徴量ベクトルを予測モデルに入力して、第1の人間と第2の人間との相性を予測する。予測モデルは、少なくとも、相性が良いことが予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いことを示す第1相性ラベルとの組み合わせである第1の種類の教師データ、及び、相性が良いとは言えないことが予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いとは言えないことを示す第2相性ラベルとの組み合わせである第2の種類の教師データを、それぞれ用いて機械学習が行われることによって構築されている。
【0006】
本開示の一態様に係るコンピュータプログラムは、情報処理装置の演算回路によって実行されて、情報処理装置に人間同士の相性を予測させるコンピュータプログラムである。情報処理装置は、演算回路と、予測モデルを記憶する記憶装置と、人間の脳の活動の変化を示す時系列データを取得する入力インタフェースと、人間同士の相性の予測結果を出力する出力インタフェースとを備えている。人間の脳は複数の脳領域を含み、複数の脳領域の各々は脳が有する複数の機能の各々と関連付けられている。時系列データは、複数の脳領域の各々から取得された、各脳領域の活動の時間的な変化を示すデータを含む。コンピュータプログラムは、演算回路に、入力インタフェースを介して、第1の人間及び第2の人間の各時系列データである第1時系列データ及び第2時系列データを取得させる。またコンピュータプログラムは演算回路に、第1時系列データ及び第2時系列データの各々を利用して、複数の脳領域のうちから選択された2つの脳領域の組み合わせ毎に、脳領域間の機能的な結合の程度を示す相関係数を算出させることにより、第1の人間の脳領域間の相関係数の集合である第1相関行列及び第2の人間の脳領域間の相関係数の集合である第2相関行列を生成させる。さらに、コンピュータプログラムは演算回路に、第1相関行列及び第2相関行列を利用して、第1の人間と第2の人間との間の、脳領域間の機能的な結合の相違を示す特徴量ベクトルを算出させ、特徴量ベクトルを予測モデルに入力して、第1の人間と第2の人間との相性を予測させる。予測モデルは、少なくとも、相性が良いことが予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いことを示す第1相性ラベルとの組み合わせである第1の種類の教師データ、及び、相性が良いとは言えないことが予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いとは言えないことを示す第2相性ラベルとの組み合わせである第2の種類の教師データを、それぞれ用いて機械学習が行われることによって構築されている。
【0007】
本開示の一態様に係る学習済み予測モデルは、第1の人間と第2の人間との間の相性を予測するための学習済み予測モデルである。予測モデルは、少なくとも、相性が良いことが予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いことを示す第1相性ラベルとの組み合わせである第1の種類の教師データ、及び、相性が良いとは言えないことが予め判明している2名の人間同士の、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いとは言えないことを示す第2相性ラベルとの組み合わせである第2の種類の教師データを、それぞれ用いて機械学習が行われることによって構築されている。予測モデルは、第1の人間と第2の人間との間の脳領域間の機能的な結合の相違を示す特徴量ベクトルが入力されると、第1の人間と第2の人間との相性を予測結果として出力する。
【発明の効果】
【0008】
本開示によれば、2名の人間同士の相性を精度良く予測することが可能になる。
【図面の簡単な説明】
【0009】
【
図3】ある参加者の脳のfMRI画像100の例を示す図
【
図4】4つの周波数帯域と、各周波数帯域に属する波形を示す図
【
図5】機能的結合を評価するための差分特徴量ベクトルを算出する手順の例を示す図
【
図7A】周波数毎の機械学習による識別正答率を示す図
【
図7B】相性に関する情報を含む周波数帯域について、相性の予測結果の妥当性を解析した結果を示す図
【
図8】本発明者によって構築された予測モデルを利用した相性予測方法の模式図
【
図9】機械学習を行う際に利用される情報処理装置のハードウェア構成図
【
図10】情報処理装置のCPUによって実行される学習処理の手順を示すフローチャート
【
図11】複製された予測モデルを有する情報処理装置のハードウェア構成図
【
図12】情報処理装置のCPUによって実行される相性の予測処理の手順を示すフローチャート
【発明を実施するための形態】
【0010】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題は限定されることはない。
【0011】
(本発明者によって得られた知見)
これまでに蓄積された種々の研究の結果から、安静時の脳機能には、個人差に関する情報が含まれることが知られている。すなわち、安静時に取得された脳機能を用いると、その個人の後の行動中の脳活動を予測できることが分かってきている。一方、ある2名の人間の「相性」は個人差や行動傾向によって規定され得るという研究報告も得られている。
【0012】
本発明者は、ある2名の人間の各脳機能の関係を見れば、その2名の間で生じてくる心理現象に関する予測、換言すればその2名同士の相性の予測、ができるのではないか、との仮説を立てた。そして実験及び検証を行うことによってその仮説が正しいことを確認し、2名の脳機能を示す情報にはその2名の相性の良否に関する情報が含まれており、その情報を利用すればその2名の「相性」の良否を識別できると結論付けた。以下、具体的に説明する。
【0013】
本発明者は、複数の男女を対象としてスピードデート実験を行った。「スピードデート」とは、結婚または交際を希望する男女が一堂に会してカップル成立を目指すパーティである。本実験では、参加者は男性22名、女性21名の合計43名であり、平均年齢は20.3歳であった。
【0014】
図1は、スピードデートの会場を示す模式図である。スピードデート実験の手順は以下の通りである。まず、女性Wa~Wuに着席してもらい、各女性と対面するように各男性Ma~Muが着席する。そして男女1組ごとに3分間自由に会話する。司会者の合図で会話を終了し、その後、矢印に示すように男性は一斉に席を移動して、隣の女性と対面するように着席する。全ての異性との会話が終わるまで上記の流れを繰り返してもらった。会話終了後、男女それぞれの参加者に対し、会話をした相手の異性とまた話したいと思うか否かについて質問し、回答してもらった。
【0015】
図2Aは、質問に対する回答の集計結果の例を示している。(a)の例は、男性Maと女性Waとがともに相手と話をしたいと思ったことを示している。(b)の例は、男性Mbは女性Waとまた話をしたいと思ったが、女性Waは男性Mbとまた話をしたいと思わなかったことを示している。本実験では(a)の場合には「相性が良い」と判定し、(b)の場合には「相性が良いとは言えない」と判定した。
【0016】
図2Bは、男女の各組と相性との関係の例を示している。回答の結果から、全ての男女の組み合わせについて、「相性が良い」を示す「1」、または「相性が良いとは言えない」を示す「0」のいずれかの「相性」を示す情報が得られた。
【0017】
スピードデート実験の前の別の日に、各参加者に、安静時の機能的磁気共鳴画像法(fMRI)による画像の撮影を行ってもらった。fMRIは、MRI(核磁気共鳴画像法)を利用してヒト及び動物の脳などの活動に関連した血流動態反応を視覚化する方法の一つである。撮影は6分間にわたって連続的に行った。安静状態を維持するため、撮影中、各参加者にはfMRI装置の表示画面に呈示される十時マークを見ながら何もせずにいるよう指示した。
【0018】
図3は、ある参加者の脳のfMRI画像100の例を示している。脳110は、複数の脳領域を含んでいる。例えば116個の脳領域が予め定義されており、各脳領域は、視覚、体性感覚等の、脳が有する複数の機能の各々と関連付けられている。連続的に撮影されたfMRI画像から、各脳領域の時系列波形102を得ることができる。時系列波形は、時系列のデジタルデータ(以下「時系列データ102」とも称する。)として得られる。なお、本明細書では、時系列データ102はfMRI画像から直接得られた時系列波形のデータではなく、直接得られた時系列波形のデータに予めノイズ除去処理を行って得られたデータである。ノイズ除去処理は必須ではない。
【0019】
本発明者は、得られた時系列データ102にバンドパス処理を行い、その時系列データ102を4つの周波数帯域に分割した。換言すると、各脳領域から得られた時系列データ102を4つの周波数帯域に分けて抽出した。
【0020】
図4は、4つの周波数帯域と、各周波数帯域に属する波形を示している。4つの周波数帯域は、それぞれ、(a)0.015-0.030Hz、(b)0.030-0.059Hz、(c)0.059-0.118Hz、及び(d)0.118-0.216Hzである。全体で0.015Hz-0.216Hzの周波数帯域を採用した理由は、下限については、0.015Hzよりも低い周波数には、意味があると考えられる情報が含まれていないと考えられたからである。上限の0.216Hzについては、本実験で用いたfMRI装置で取得されるデータの周波数の上限を採用した。4つの周波数帯域に分けた理由は、最近の研究により、これら4つの周波数帯域が脳機能と関連していることが見出されてきたからである。ただし、各周波数帯域と各脳機能との具体的な関係はまだ見出されてはいない。
【0021】
本発明者は、各個人の信号波形を対象として、周波数帯域ごとに予め定義された116脳領域の信号を抽出し、脳領域間の組み合わせを網羅して、機能的結合を評価した。
【0022】
図5は、機能的結合を評価するための差分特徴量ベクトルを算出する手順の例を示している。上述したように、本開示では脳領域は116個存在するとしているが、一般化のためM個(M:2以上の整数)であるとする。
【0023】
下記の表1は、M×M行列の形式で表されたある人間の脳領域間の機能的結合を示している。周波数帯域は、上述の(a)~(d)のいずれかである。
【表1】
【0024】
表1に示される行列の(i,j)成分及び(j,i)成分は、第i番目の脳領域と第j番目の脳領域の脳領域間の機能的な結合の程度を示すピアソンの相関である。つまり、表1に示される行列は相関行列である。よって、表1に示す行列の上三角成分と下三角成分とは互いに転置の関係にある。なお、ピアソンの相関は周知であるから相関係数の算出式の例示は省略する。
【0025】
図5に示す男性Maの脳領域間の機能的結合を表す相関行列120は、表1に示すような行列の各成分を、その値の大きさに応じて色づけして便宜的に視覚化した画像である。
図5に示す女性Waの脳領域間の機能的結合を表す相関行列122も同様である。
【0026】
本開示では、男性Maの相関行列120と、女性Waの相関行列122とを用いて、当該2名の相性を評価する。具体的には、まず、男性Maの相関行列120と女性Waの相関行列122との差分の絶対値を算出する。得られた差分行列124は、男性Maの相関行列120の各成分と女性Waの相関行列122の各成分との差の大きさを表している。差分行列124の上三角成分及び下三角成分もまた互いに転置の関係にある。
【0027】
本開示では、差分行列124から特徴量ベクトル126を生成する。特徴量ベクトル126は、差分行列124の上三角成分または下三角成分を行方向に並べて得られた行ベクトルである。特徴量ベクトル126は、男性Maの脳領域間の機能的な結合と女性Waの脳領域間の機能的な結合との相違の程度を示している。
【0028】
本発明者は、特徴量ベクトル126が、男性Ma及び女性Waの相性の良否に関する情報が含まれていると推測した。そこで本発明者は、機械学習を利用して男女の相性を推測させることとした。
【0029】
図6は、本開示にかかる機械学習の学習時の処理の流れを示している。機械学習は、コンピュータシステム10を用いて行われる。本開示では、機械学習は教師あり学習である。まず、4つの周波数帯域の各々について、スピードデートの全男性及び全女性の各相関行列が算出される。また、各周波数帯域について、男性参加者及び女性参加者の全ての組み合わせの各々について、
図5に示す方法で特徴量ベクトル126が算出される。
【0030】
そして、男性参加者及び女性参加者の組に応じた特徴量ベクトルと、
図2A及び
図2Bに示す方法で取得されたその組の相性とを教師データ130として用いて、コンピュータシステム10に機械学習を行わせる。このような教師データ130を利用することにより、各特徴量ベクトル126に含まれる、その男性及びその女性の相性の良否に関する情報を、相性と関連付け、その結果を検証した。
【0031】
機械学習の手法として、本発明者は、エラスティックネットの正則化項を有するスパースロジスティック回帰を採用した。エラスティックネットは、ラッソ回帰とリッジ回帰とを併用する手法である。ラッソ回帰は、L1正則化項を付け加えた損失関数を利用して損失を最小化するようモデルを最適化し、不要な特徴量を削減する手法である。リッジ回帰は、L2正則化項を付け加えた損失関数を利用して損失を最小化するようモデルを最適化し、過学習を回避する手法である。エラスティックネットを用いることにより、ラッソ回帰に起因する特徴量の次元削減と、リッジ回帰に起因する過学習の回避とを両立させることができる。
【0032】
数1は、エラスティックネットの評価式である。また数2は、数1中のP
α(β)を表す式である。
【数1】
【数2】
数1及び数2中の各要素は以下の意味で用いられている。
N:観測数
yi:観測値iに対応する相性ラベル
xi:観測値iに対応する特徴量ベクトル
λ:正則化パラメータ(正の値)
β
0、β:パラメータ(それぞれスカラー、ベクトル)
α:正則化の程度、すなわちL1正則化とL2正則化の混合比
P
αの項は、N個のサンプル、P個の特徴量の場合のエラスティックネットのペナルティ項である。P
αの項により、リッジ回帰のペナルティ(α=0)と、ラッソ回帰のペナルティ(α=1)の間にペナルティを設定することができる。また、λが増えると、βの非ゼロの要素が減る。
【0033】
上述の「α」と「λ」はハイパーパラメータである。本発明者は、αとして(0.0001, 0.001, 0.01)の3つ、及び「λ」として(0.15, 0.50, 0.85)の3つを候補として採用し、それらの組み合わせを変えながら、以下の(1)~(4)の手順で「α」及び「λ」を決定した。
(1)まず全ての教師データを「訓練用データ」または「テスト用データ」に分割する。(2)あるα及びλについて訓練用データを用いて予測モデルを構築する。
(3)作成した予測モデルのテスト用データに対する分類器の精度を測定する。
(4)得られた精度をもとに分類器の精度が最も高くなるときのα及びλの値を、最良の組み合わせとして採用する。
【0034】
分類器の精度は、10分割交差検証によって決定した(上記手順(1)~(3))。10分割交差検証では、訓練用データ群は10個に分割される。そのうち9個のデータ群が訓練に用いられ、残り1つのデータ群が評価に用いられる。そして訓練用のデータ群、及び、評価用のデータ群を変えながら10回繰り返し、例えば10回の交差検証で、精度を示す値が10個得られる。それらの平均値を、その訓練用データを用いた場合の、精度を示す値として採用した(上記手順(4))。
【0035】
図7Aは、ランダム精度と比較した際の実精度の高さ、すなわち精度距離の分布を示している。
図7Aの横軸は、チャンスレベルを「0.00」としたときのチャンスレベルからの精度距離を表す。ランダム精度は教師データをランダマイズした上で、上述の処理によって分類器を都度構築することによって得られる。ここで言う「教師データをランダマイズ」するとは、相性ラベルをランダムに設定することを意味する。本来、相性が良い男女ペアから得られた特徴量ベクトルには、相性が良いことを示す相性ラベル「1」が対応付けられて教師データが生成される。また、相性が良いとは言えない男女ペアからそれぞれ得られた特徴量ベクトルには、相性が良いとは言えないことを示す相性ラベル「0」が対応付けられて教師データが生成される。「教師データをランダマイズ」することにより、特徴量ベクトルと相性ラベルとがランダムに対応付けられる。本発明者は、正しい対応付けを行った教師データとは別にランダムな対応付けを行った教師データを生成することにより、実精度とランダム精度との間の有意差を見出そうとした。実験では、1,000個のランダム精度と実精度を比較し、精度距離がチャンスレベルを上回った確率、すなわち実精度の方がランダム精度よりも高い確率が95%以上であった場合を、有意な識別結果であると判定した。
【0036】
検証すると、周波数帯域が高い2組(0.059Hz~0.118、及び、0.118Hz~0.216Hz)が有意な識別結果を示した。この結果は、これらの周波数帯域の機能的結合には相性に関する情報が含まれていることを意味する。以下では、0.059Hz~0.118、及び、0.118Hz~0.216Hzを、「相性に関する情報を含む周波数帯域」と呼ぶ。なお「相性に関する情報を含む周波数帯域」は常に両方の周波数帯域を含む必要はなく、0.059Hz~0.118、及び、0.118Hz~0.216Hzの一方でもよい。さらに、「相性に関する情報を含む周波数帯域」は、0.059Hz~0.118Hzの一部、または、0.118Hz~0.216Hzの一部の周波数帯域も包含し得る。
【0037】
図7Bは、相性に関する情報を含む周波数帯域について、相性の予測結果の妥当性を解析した結果を示している。(a)及び(b)は0.059Hz~0.118の周波数帯域に関する妥当性解析の結果を示し、(c)及び(d)は0.118Hz~0.216Hzの周波数帯域に関する妥当性解析の結果を示している。円周上には、脳機能ごとに分類された116の脳領域に関する脳内ネットワークが割り当てられている。具体的には、視覚ネットワーク、体性感覚ネットワーク、スイッチングネットワーク、辺縁系、実効制御ネットワーク、デフォルトモードネットワーク、小脳等である。各脳内ネットワークはさらに機能に応じて細分化されている。ただし本明細書ではそれらの詳細な内容について言及はしない。脳内ネットワークの機能的結合の関係を見ることが目的である。
【0038】
図7Bの(a)~(d)は、相性がよいと予測された2名の特徴量ベクトル(または差分行列)に基づく、脳内ネットワークの機能的結合の関係を示している。差分行列の成分が小さいほど、その成分に対応する脳内ネットワークの機能的結合の強度、すなわち脳領域間の時系列データの相関値、が似ていることを示す。逆に差分行列の成分が大きいほど、その成分に対応する脳内ネットワークの機能的結合の強度が異なっていることを示す。(a)及び(c)は似ているほど相性が良いことを示し、(b)及び(d)は異なるほど相性が良いことを示している。
【0039】
図7Bの(a)~(d)の円周に沿って、一部の脳機能に対応するネットワークの位置に、そのネットワークを示すラベルを付した。各ラベルと脳機能との関係を以下に示す。
Vis:視覚
SomMot:体性感覚
Cerebellum:小脳(他のネットワークとの連携)
Limbic:辺縁系(情動・学習等に関与)
Default:デフォルトモード(内的注意・社会性に関与)
【0040】
図7Bによれば、視覚・感覚運動機能に対応するネットワーク(Vis, SomMot)の寄与結合は相対的には疎であり、性格や行動傾向との関連が認められる高次脳機能に対応するネットワーク(Cerebellum, Limbic, Default)の寄与結合は相対的には密である。これらから、以下の事実を読み取ることができる。すなわち、脳内で行われる視覚処理及び体性感覚の処理の仕方は相性の良否にそれほど寄与しない。一方、性格や行動傾向に関連する脳内で行われる処理の仕方は相性の良さに寄与している。
【0041】
これらの結果を踏まえ、本発明者は、上述の2組の周波数帯域について機能的結合を利用すれば、その2名同士の相性の予測が可能であるとの結論を得た。併せて、以下のようにして機械学習を行って予測モデルを構築することにより、2名の男女の相性を予測することができるとの結論に至った
【0042】
(a)男性参加者及び女性参加者の各脳領域の時系列波形を周波数帯域ごとに得て,各相関行列(機能的結合)を算出する。
(b)相性が良いことが予め判明している2名の人間同士の、各相関行列を用いて算出された、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いことを示す第1相性ラベル(例:「1」)とを組み合わせる。
(c)相性が良いとは言えないことが予め判明している2名の人間同士の、各相関行列を用いて算出された、脳領域間の機能的な結合の相違を示す特徴量ベクトルと、相性が良いとは言えないことを示す第2相性ラベル(例:「0」)とを組み合わせる。
(d)上記(b)及び(c)で得られた組み合わせをそれぞれ教師データとして用いて機械学習を行って予測モデルを構築する。
【0043】
図8は、本発明者によって構築された予測モデルを利用した相性予測方法の模式図である。上記方法によって学習が行われた予測モデルが情報処理装置10に構築されている。
【0044】
まず、相性を予測したい男性及び女性の各脳領域の時系列波形からそれぞれの相関行列を算出し、それら相関行列の絶対値の差分から特徴量ベクトル132を算出する。算出した特徴量ベクトルを情報処理装置10に入力する。情報処理装置10が、特徴量ベクトル132を予測モデルに入力すると、予測モデルからの出力として、相性が良い/良いとは言えない、のいずれかを示す値が出力される。例えば予測モデルからの出力は、相性が良いことを示す相性ラベル「1」、または相性が良いとは言えないことを示す相性ラベル「0」が出力される。
【0045】
なお、教師データとして相性ラベル「1」または「0」を採用したため、2値の相性ラベル「1」または「0」が出力されている。しかしながら、教師データとして相性ラベルを、例えば4値にした場合には、予測モデルから4値のいずれかを出力させることも可能である。ここでいう「4値」とは、例えば「相性が非常に良い」、「相性が良い」、「相性が悪い」、「相性が非常に悪い」に対応する4つの数値(相性ラベル)である。さらに「相性が良くも悪くもない」を加えた5つの相性ラベルを使用してもよい。ラベル数は任意に設定され得る。
【0046】
教師データに利用した相性ラベルの種類に応じて機械学習を行わせることにより、予測モデルから出力される相性の種類を3以上にすることができる。相性の種類は、相性の良さの程度に応じて相対的に決まる。教師データとして使用される相性の種類を3以上にした場合には、予測モデルからは、相性が相対的に最もよいことを示すラベル、相性が相対的に最も悪いことを示すラベル、及び、相対的にその間に入る1または複数のラベルが出力され得る。本開示では、学習時及び予測時の相性のラベル数が2であっても3以上であっても、少なくとも、相性が相対的に最もよいことに対応するラベル(または相性が良いことを示す第1相性ラベル)、及び、相性が相対的に最も悪いことに対応するラベル(または相性が良いとは言えないことを示す第2相性ラベル)が教師データに含められ、予測結果として出力される。
【0047】
さらに本発明者は、上述のとおりスピードデートによって上記知見を得たが、上記知見は、男女間の相性を表すだけにはとどまらないと考えられる。脳領域の時系列波形を用いた予測である限り、予測モデルは、男女同士だけではない人間同士の相性を予測することが可能であると考えられるからである。例えば、同性同士の相性、例えば会社という組織内の上司と部下、学校という組織内の教師と生徒、医療者と患者、店員と客、のような、社会的または組織内の立場が相対的に高い人間及び低い人間同士の相性も適切に判定できると強く推測される。
【0048】
以下、上述の知見に基づいて予測モデルを構築するためのハードウェア構成、構築した予測モデルを用いた相性の予測処理を説明する。
図9は、機械学習を行う際に利用される情報処理装置10のハードウェア構成図である。情報処理装置10は、例えばPC、サーバコンピュータであり得る。情報処理装置10は、CPU21と、通信インタフェース(I/F)22と、記憶装置23とを備える。
【0049】
CPU21は、本実施形態における情報処理装置の演算回路の一例である。CPU21は、記憶装置23に格納された制御プログラム26の実行により、予測モデル27の学習及び実行を含む所定の機能を実現する。情報処理装置10は、CPU21が制御プログラム26を実行することで、本実施形態の情報処理装置としての機能を実現する。制御プログラム26は、本実施形態におけるコンピュータプログラムの一例である。なお、本実施形態でCPU21として構成される演算回路は、MPUまたはGPU等の種々のプロセッサで実現されてもよく、1つまたは複数のプロセッサで構成されてもよい。
【0050】
通信インタフェース22は、例えばイーサネット(登録商標)の通信端子、USB(登録商標)端子である。または通信インタフェース22は、IEEE802.11、4G、または5G等の規格に準拠して通信を行う通信回路である。通信インタフェース22は、イントラネット、インターネット等の通信ネットワークに接続可能である。また、情報処理装置10は、通信インタフェース22を介して他の機器と直接通信を行ってもよく、アクセスポイント経由で通信を行ってもよい。
【0051】
記憶装置23は、情報処理装置10を動作させるために必要なコンピュータプログラム及びデータを記憶する記憶媒体である。記憶装置23は、例えばハードディスクドライブ(HDD)または半導体記憶装置であるソリッド・ステート・ドライブ(SSD)であり得る。記憶装置23は、例えばDRAMまたはSRAM等のRAMにより構成される一時的な記憶素子を備えてもよく、CPU21の作業領域として機能してもよい。記憶装置23は、CPU21で実行される制御プログラム26を記憶し、予測モデル27の構築後は予測モデル27を格納する。
【0052】
図10は、情報処理装置10のCPU21によって実行される学習処理の手順を示すフローチャートである。併せて
図6も参照する。
【0053】
ステップS11において、CPU21は、通信インタフェース22を介して、教師データ130(
図6)を取得する。
図6に示すように、教師データ130は、特徴量ベクトルと相性ラベルとの組である。
【0054】
ステップS12において、CPU21は予測モデルの機械学習を実行する。本実施形態においては、エラスティックネットの正則化項を有するスパースロジスティック回帰を用いた機械学習を実行する。
【0055】
ステップS13において、CPU21はハイパーパラメータを調整する。ステップS14において、CPU21は予測モデル27を生成する。数1及び数2に関連して説明したように、「α」及び「λ」をハイパーパラメータとして、分類器の精度が最も高くなるときのα及びλの値を採用することにより、予測モデル27が構築される。
【0056】
上述のように構築された予測モデル27は、そのまま情報処理装置10を利用して、任意の2名の人間の相性の予測に利用することができる。あるいは、予測モデル27を構成するデータを任意の情報処理装置に複製することにより、予測モデル27を生成した情報処理装置10以外の情報処理装置においても相性の予測を行うことができる。
【0057】
図11は、複製された予測モデル27を有する情報処理装置30のハードウェア構成図である。情報処理装置30もまた、例えばPC、サーバコンピュータであり得る。情報処理装置30は、CPU41と、入力インタフェース(I/F)42と、記憶装置43と、出力インタフェース(I/F)44とを備える。
【0058】
CPU41、入力インタフェース42及び記憶装置43は、それぞれ
図9に示すCPU21、通信インタフェース22及び記憶装置23と同様の構成及び機能を有する。よってCPU41、入力インタフェース42及び記憶装置43の説明として、CPU21、通信インタフェース22及び記憶装置23の上記説明を援用する。
【0059】
なお、記憶装置23には予測モデル27が格納されている。予測モデル27は情報処理装置10によって構築されて複製され、記憶装置23に記憶されている。予測モデル27は、例えばCPU41が実行するコンピュータプログラムの一部として組み込まれてもよいし、コンピュータプログラムとは別のデータとして設けられてもよい。
【0060】
出力インタフェース44は、例えば情報処理装置30の外部に設けられたディスプレイ50と接続される映像出力端子である。または、出力インタフェース44は、通信ネットワーク52等と接続されてデータ通信を行うことが可能な通信端子または通信回路である。出力インタフェース44が通信端子または通信回路である場合には、その具体的な内容は通信インタフェース22(
図9)と同じである。よって通信インタフェース22の上記説明を援用する。
【0061】
図12は、情報処理装置30のCPU41によって実行される相性の予測処理の手順を示すフローチャートである。相性を予測したい2名の人間は予め定まっているとし、各人の各脳領域の時系列波形(時系列データ)も予め用意されているとする。
【0062】
ステップS21において、CPU41は入力インタフェース42を介して2名の時系列データを取得する。ステップS22において、CPU41は各時系列データを利用して、各人ごとに2つの脳領域の組み合わせごとの相関係数を算出する。ステップS23において、CPU41は2名の各時系列データから算出された相関行列(第1相関行列及び第2相関行列)を利用して特徴量ベクトルを算出する。特徴量ベクトルは、第1相関行列及び第2相関行列の差分の絶対値として求められた差分行列の上三角成分または下三角成分を行方向に並べて得られた行ベクトルである。
【0063】
ステップS24において、CPU41は得られた特徴量ベクトルを予測モデル27に入力し、予測モデル27の処理を実行する。
【0064】
ステップS25において、CPU41は予測モデル27から予測結果である2名の人間同士の相性を出力する。CPU41は、ディスプレイ50上に文字または画像で予測結果を出力してもよいし、通信ネットワーク52上に予測結果を出力してもよい。後者の場合、例えば当該2名の人間のそれぞれが、自身のスマートフォン等の情報処理装置を用いて予測結果を確認できる。
【0065】
上述の実施形態では、予測モデル27は、エラスティックネットの正則化項を有するスパースロジスティック回帰を用いた機械学習により構築される例を説明した。本実施形態において、予測モデル27は、他の機械学習手法により生成されてもよい。例えば、サポートベクタマシン、ランダムフォレスト、勾配ブースティング、または人工ニューラルネットワーク等が用いられてもよい。
【0066】
本明細書では、時系列データは、連続撮影されたfMRI画像である例を説明した。しかしながら、fMRI画像の利用は一例である。複数の脳領域の活動を取得できる方法であれば、他の方法によって取得された時系列データも利用可能である。例えば、脳波計で取得された、脳の電気的な活動によって生じる電位の変化を示す時系列脳波データ(EEG)を採用することができる。または、脳磁計で取得された、脳の電気的な活動によって生じる磁場の変化を示す時系列脳磁場データ(MEG)を採用してもよい。さらには、NIRS計測装置で近赤外線分光法を用いて計測された、脳の血流動態の変化である時系列脳データを採用してもよい。現時点では医療機関でfMRI画像を取得する必要があるが、ヘルメット型の脳波計などが普及すれば個人がEEGを取得することは可能になり、予測モデル27を利用するための時系列データを取得しやすくなると考えられる。なお、fMRI画像、EEG、MEG及びNIRSによる各データは排他的ではなく、複数を組み合わせてもよい。
【0067】
上述のフローチャート(
図10及び
図12)は、CPUによって実行されるコンピュータプログラムとして実現され得る。
図12については、予測モデル27のデータを組み込んだコンピュータプログラムとして実現されてもよい。
【0068】
本開示は上述した実施形態に限定されるものではなく、種々の変更が可能である。すなわち、当業者が適宜変更した技術的手段を組み合わせて得られる実施形態についても本開示の範疇である。
【産業上の利用可能性】
【0069】
本開示は、2名の人間同士の相性を予測する情報処理装置、コンピュータプログラム及び学習済み予測モデルに適用可能である。
【符号の説明】
【0070】
10、30 情報処理装置
21 CPU
22 通信インタフェース(I/F)
23 記憶装置
27 予測モデル
41 CPU
42 入力インタフェース(I/F)
43 記憶装置
44 出力インタフェース(I/F)
100 脳のfMRI画像
102 時系列波形/時系列データ
110 脳
120、122 相関行列
124 差分行列
126 特徴量ベクトル
130 教師データ