知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-29
(54)【発明の名称】規制質問への応答を容易にする自然言語処理の応用
(51)【国際特許分類】
G06F 16/35 20190101AFI20241022BHJP
【ＦＩ】
G06F16/35
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024523171
(86)(22)【出願日】2022-10-18
(85)【翻訳文提出日】2024-05-24
(86)【国際出願番号】 US2022046974
(87)【国際公開番号】W WO2023069401
(87)【国際公開日】2023-04-27
(31)【優先権主張番号】63/270,448
(32)【優先日】2021-10-21
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/389,569
(32)【優先日】2022-07-15
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
(71)【出願人】
【識別番号】500049716
【氏名又は名称】アムジエン・インコーポレーテツド
(74)【代理人】
【識別番号】110001173
【氏名又は名称】弁理士法人川口國際特許事務所
(72)【発明者】
【氏名】アルクハリファ，サレハ
(72)【発明者】
【氏名】バグル，ダニエル
(72)【発明者】
【氏名】オズユルト，フルカン
(72)【発明者】
【氏名】バイラク，エリフ・シェイマ
【テーマコード（参考）】
5B175
【Ｆターム（参考）】
5B175DA01
5B175FA03
(57)【要約】
規制質問を処理するシステム及び方法において、規制質問を表すテキストデータが１つ以上のプロセッサにより取得される。本システム及び方法はまた、１つ以上の自然言語処理モデルを用いて規制質問を分類し、規制質問に対する回答を生成し、規制質問の要約を生成し、及び／又は規制質問に類似した文書を識別する。本システム及び方法はまた、分類、回答、要約、及び／又は類似文書を示すデータを保存、送信、及び／又は表示する。
【特許請求の範囲】
【請求項1】
規制質問を処理する方法であって、１つ以上のプロセッサにより、複数の規制質問を表すテキストデータを取得することと、
前記１つ以上のプロセッサにより、少なくとも部分的に自然言語処理モデルにより前記テキストデータを処理することにより、前記複数の規制質問の１つ以上の分類を生成することと、
前記１つ以上のプロセッサにより、前記１つ以上の分類を示すデータを保存、送信、及び／又は表示することと
を含む方法。
【請求項2】
前記自然言語処理モデルが深層フィードフォワードニューラルネットワークである、請求項１に記載の方法。
【請求項3】
前記深層フィードフォワードニューラルネットワークが丁度１つの大域最大プーリング層及び複数の密層を含んでいる、請求項２に記載の方法。
【請求項4】
前記深層フィードフォワードニューラルネットワークが丁度２つの密層を含んでいる、請求項３に記載の方法。
【請求項5】
前記自然言語処理モデルが少なくとも１つの双方向層を含んでいる、請求項１に記載の方法。
【請求項6】
前記自然言語処理モデルが長短期保存（ＬＳＴＭ）モデルである、請求項５に記載の方法。
【請求項7】
前記自然言語処理モデルにより前記テキストデータを処理する前に、１つ以上のプロセッサにより前記テキストデータに前処理を施して、分類に使用しない単語及び／又は文字を除外することを更に含んでいる、請求項１～６のいずれか１項に記載の方法。
【請求項8】
請求項１～７のいずれか１項に記載の方法において、前記複数の質問が前記テキストデータ内の複数の各々の単語列に対応し、前記方法が更に、前記自然言語処理モデルにより前記テキストデータを処理する前に、前記１つ以上のプロセッサにより、前記各単語列を各数列に変換することにより前記テキストデータに前処理を施すことを含んでいる方法。
【請求項9】
前記自然言語処理モデルにより前記テキストデータを処理する前に、前記１つ以上のプロセッサにより、前記各単語列を表す全てのベクトルが等しいシーケンス長を有するように前記各単語列をパディングすることにより前記テキストデータに前処理を施すことを更に含んでいる、請求項８に記載の方法。
【請求項10】
前記１つ以上のプロセッサにより、前記複数の質問の少なくとも１つのサブセットを、前記１つ以上の分類を示す仕方で表示させることを含んでいる、請求項１～９のいずれか１項に記載の方法。
【請求項11】
前記複数の質問の前記少なくとも１つのサブセットを前記１つ以上の分類を示す仕方で表示させることが、（ｉ）前記１つ以上の分類のうち前記質問に対応する分類と、（ｉｉ）ユーザーが選択したフィルタ設定とに基づいて、各質問を選択的に表示させるか又は表示させないこと
を含んでいる、請求項１０に記載の方法。
【請求項12】
前記複数の質問の前記少なくとも１つのサブセットを前記１つ以上の分類を示す仕方で表示させることが、前記複数の質問の前記サブセットの各質問を、前記１つ以上の分類からの対応する分類に関連付けて表示させること
を含んでいる、請求項１０に記載の方法。
【請求項13】
システムであって、１つ以上のプロセッサと、
前記１つ以上のプロセッサにより実行されたならば、前記１つ以上のプロセッサに請求項１～１２のいずれか１項に記載の方法を実行させる命令を保存する１つ以上のメモリと
を含むシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は一般に規制処理を促進する技術に関し、より具体的には、規制文書（例えば健康評価アンケート（ＨＡＱ）又は質問に対する応答（ＲＴＱ））における質問を、例えばそのような質問により効率的に応答すべく分類するシステム及び方法に関する。
【背景技術】
【0002】
先進国において、製薬会社又は医療機器会社等の事業体が提供する製品の安全性と有効性を厳格に審査する規制当局（例えば米国では食品医薬品局）が設置されている。これらの規制当局は評価を行うべく典型的に広範なデータを要求する。このため、製薬その他の企業は典型的に各種書類の提出を求められ、規制当局は次いで追加データを求める書類を発行する。これらの規制文書（例えば健康評価アンケート（ＨＡＱ）又は質問に対する応答（ＲＴＱ）文書）には多くの（例えば数百件の）詳細な質問が含まれる場合があり、完全且つ正確な回答を提供するのに著しく時間を要する。
【発明の概要】
【発明が解決しようとする課題】
【0003】
遅延の極めて重要な要因の一つは、回答者が、自身がどの質問に回答できるか又は最も相応しいかを判定すべく全ての質問を精査しなければならない初期段階である。例えば、主に医薬品のラベル表示に経験を有する人物は臨床試験又は安全性に関する質問には容易に回答できない場合がある。問い合わせが適切なユーザーに向けられたならば、求められている情報をユーザーが完全に理解するまでに掛かる時間に起因して更なる遅延が生じる。例えば、質問が極めて長い（例えば複数の段落）、及び／又は明示的な質問ではなく記事（例えば特定の問題／課題の記述）として表現されている場合がある。ユーザーが質問を理解したならば、ユーザー及び／又は他の人々適切な回答／応答を決定するのに要する時間に起因して更なる遅延が生じる恐れがある。この種の遅延は、従業員の工数を消費するという意味だけでなく、規制当局の承認処理全体を長引かせ得るという意味でもコストを要する。更に、手作業による審査は、例えばユーザーが、実際には当該ユーザーの技量又は経験に関連する質問を読み飛ばすか又は無視することがある、或いはユーザーが最初に質問を誤解する等のミスが生じやすいため、更なる遅延につながる恐れがある。
【課題を解決するための手段】
【0004】
本明細書に記述する複数の実施形態は、規制文書（例えばＨＡＱ、ＲＴＱ等）に見出される種類の質問を処理する際の、及び／又は規制当局に提出する応答を生成する際の効率、一貫性、及び／又は正確性を向上させるシステム及び方法に関する。本明細書で使用する、且つ使用する文脈でより具体的な意味を示さない限り、「質問」、「照会」及び「問い合わせ」等の用語は、明示的な質問（例えば「薬剤Ｘの最大投与量は？」）又は暗黙的質問又はプロンプト（例えば薬物Ｘの投与に関する潜在的な問題を記述する際に、当該問題を懸念する必要がない理由又は問題がどのように軽減されたか等を応答が説明すべきであると理解されている）を指していてよく、且つ単一の文又は関連する文の組（例えば「薬物Ｙが条件Ｚに関連付けられていることが知られている。試験的試行において当該条件がどれぐらいの頻度で生じたか？」）を指していてよい。更に、本明細書は、検討中の特定の質問のソースとなりうる「規制文書」に言及しているが、質問のソースが、例えばユーザーにより他の仕方（例えば規制質問をユーザーインターフェースにカットアンドペーストすることにより、又は予想される将来の規制質問を手動で入力する等により）であってよいことが分かる。本明細書で用いる用語「文書」は、任意の電子文書又はその一部（例えば原本ＰＤＦ、紙文書をスキャンしたバージョンであるＰＤＦ、Ｗｏｒｄ文書等）であってよく、より一般に、質問又は当該質問内の他の文及び／又は文の断片を表すテキストデータの任意の集合体であってよい。
【0005】
一般に、本明細書に開示する複数の技術は、自然言語処理（ＮＬＰ）及び意味検索を利用して、規制質問を処理し、ユーザーが規制質問に対する応答を準備し易くする特定の出力を提供する。より正確／有用な結果を与えるべく、これらの技術は深層学習モデル（すなわち、ニューラルネットワーク）を利用することができる。ニューラルネットワークはいくつかの実施形態において、キーワード検索等のより簡単なアプローチではなく、テキスト入力の文脈依存埋め込み及び／又は双方向「読み取り」（例えば質問内の複数の単語の関係の理解を深めるべく単語の順序を双方向で考慮する）を行うことができる。更に、規制文書（例えば医薬品規制文書）に特に関連する科学的言語／知識は、モデルを当該文脈でより有用にすべく、学習ステージで深層学習モデルに組み込むことができる。
【0006】
いくつかの実施形態において、本明細書に開示するシステム及び方法は、規制質問を自動的に分類し、これらの質問に対する応答を生成する処理を容易にする。例えば、分類ユニットは、テキストを（例えば質問の構文解析、無関係な単語の除外、トークン化等により）前処理し、次いでＮＬＰモデルを用いて各質問を、回答するのに誰が最も適任であるかをユーザーが識別するのを支援するカテゴリに分類することができる。例示的なカテゴリとして「医療」、「安全性」、「規制」、及び／又は他の適当なラベルが含まれていてよい。このように、規制質問を適当な人物とより迅速且つ正確にペアリングすることができるため、規制当局に応答の完全な組を提供する処理が短縮され、規制当局の承認処理が全体として短縮される可能性がある。本開示はまた、規制文書を分類するタスクに特に適している特定の種類のＮＬＰモデル又はアーキテクチャについても記述する。いくつかの実施形態において、少なくとも１つの双方向層を採用するニューラルネットワーク（例えば長短期記憶（ＬＳＴＭ）ニューラルネットワーク）が分類タスクを実行する。しかし、他の実施形態において、典型的にはテキスト理解又は分類の分野での利用を全く想定していないニューラルネットワークにより分類が実行される。特に、いくつかの実施形態において、深層フィードフォワードニューラルネットワークが各質問を適当なカテゴリに分類する。このアプローチは比較的簡単である（すなわち、双方向性の欠如）にもかかわらず、良好に機能するものと判定されており、少ない数の層（例えば１つのプーリング層と２つの密層だけ）で良好に機能する。深層フィードフォワードニューラルネットワークは簡単であるため、他の分類モデルよりも遥かに高速に訓練及び検証されて分類を実行することができる。例えば、深層フィードフォワードニューラルネットワークは、双方向ニューラルネットワークの約３０倍（以上）の速度で（訓練中、検証中、及び実行時に）動作可能である。
【0007】
他の実施形態において、本明細書に開示するシステム及び方法は、現在検討中の質問に類似する１つ以上の過去の／遡及的質問を自動的に識別する。例えば、類似性ユニットは、ＮＬＰモデルを用いて質問を処理／解析し、遡及データベースから類似した質問を取り出して、各々の類似性の程度を示す信頼性スコアを判定することができる。ユーザーは次いで、検討中の質問をよりよく理解すべく最も類似した質問を調べること、及び／又は遡及的質問に対する回答／応答が現在のケースに有用であるか否かを確認することができる。類似度ユニットは、例えば分類ユニットに関して上で述べたように、規制質問のテキストに前処理を施してよい。
【0008】
他の実施形態において、本明細書に開示するシステム及び方法は、現在検討中の規制質問に対する回答を生成する。例えば、回答生成ユニットは、１つ以上のＮＬＰモデルを用いて質問を処理／解析して１つ以上の回答候補を自動的に生成することができる。回答生成ユニットは、例えば上で述べたような類似性ユニットを適用することにより、類似した質問を最初に識別することにより関連する遡及的な回答を識別できる。ユーザーは次いで、生成された回答候補のいずれか（の全部又は一部）を提出された規制応答に組み込むか否かを検討することができる。回答生成ユニットは、例えば分類ユニットについて上で述べたように、規制質問のテキストに前処理を施すことができる。
【0009】
他の実施形態において、本明細書に開示するシステム及び方法は、規制質問を自動的に要約する。例えば、要約ユニットは１つ以上のＮＬＰモデルを用いて、比較的長い規制質問（例えば恐らくは明示的な質問として構成されていない２又は３つの段落）を処理して、当該質問のより簡潔なバージョン（例えば明示的な質問として表現された１又は２行）を出力することができる。このように規制質問を要約することで、ユーザーは各質問をより迅速に理解及び／又は分類することができる。要約ユニットは、例えば分類ユニットに関して上で述べたように規制質問のテキストに前処理を施してよい。
【0010】
更に他の実施形態において、上述の実施形態の一部又は全部を、例えばパイプライン、並列、又はハイブリッドパイプライン／並列アーキテクチャで共用される。例えば、本明細書に開示するシステム及び方法は、分類ユニットに質問を入力し、次いで分類ユニットから出力された分類に固有の類似性及び回答生成ユニットに同じ質問を入力することができる。類似性ユニットは次いで類似した遡及的質問を識別し、回答生成ユニットが当該質問に対する回答／返答を提案することができる。他の実施形態及び／又はシナリオにおいて、各種のユニット（分類、類似性、応答生成、又は要約）が独立に用いられる。
【0011】
当業者には、本明細書で説明する図面が、図示を目的として含まれていて本開示を限定するものではないことが理解されよう。図面は必ずしも定縮尺ではなく、本開示の原理の図解に重点が置かれている。いくつかのケースにおいて、記述する実装方式を分かり易くすべく、記述する実装方式の様々な態様を、簡略化、誇張、又は拡大された仕方で示す場合があることを理解されたい。各図面において、様々な図面を通じて類似する参照符号が概ね機能的に類似する、及び／又は構造的に類似する要素を指している。
【図面の簡単な説明】
【0012】
【図1】本明細書に記述する技術を実装できる例示的なシステムのブロック図である。
【図2】本明細書に記述する技術の例示的なパイプライン実施形態を示す。
【図8】規制質問を分類する例示的な方法のフロー図である。
【図9】規制質問に類似文書を識別する例示的な方法のフロー図である。
【図10】規制質問に対する回答候補を生成する例示的な方法のフロー図である。
【図11】規制質問を要約する例示的な方法のフロー図である。
【発明を実施するための形態】
【0013】
上で紹介され、以下でより詳細に議論する様々な概念は、多くの仕方のいずれにより実施されてよく、記述する概念はどの特定の実装方式にも限定されない。複数の実装方式の実施例を説明目的で提供する。
【0014】
図１は、本明細書に記述する技術を実装できる例示的なシステム１００のブロック図である。システム１００は、ネットワーク１１０を介してクライアント装置１０４に通信可能に結合されたコンピューティングシステム１０２を含んでいる。コンピューティングシステム１０２（例えばサーバ）は一般に、自然言語処理（ＮＬＰ）を実行する１つ以上の機械学習モデルを訓練して、ＮＬＰモデルを用いて以下に更に詳細に説明する１つ以上の目的のために規制文書（例えば特定の規制質問）を処理すべく構成されている。クライアント装置１０４は一般に、コンピューティングシステム１０２から遠隔地にいるユーザーもコンピューティングシステム１０２の規制文書処理機能を利用できるようにして、以下に詳細に述べるように様々な対話機能をユーザーに提供すべく構成されている。ネットワーク１１０は、単一の通信ネットワークであっても、又は１つ以上の種類の複数の通信ネットワーク（例えば１つ以上の有線及び／又は無線ローカルエリアネットワーク（ＬＡＮ）、及び／又はインターネット等の１つ以上の有線及び／又は無線ワイドエリアネットワーク（ＷＡＮ））を含んでいてもよい。図１には１つのクライアント装置１０４だけを示しているが、他の実施形態ではネットワーク１１０を介してコンピューティングシステム１０２に通信可能に結合された任意の数の異なるクライアント装置が含まれていてよい。特に、クライアント装置１０４及び多数の他のクライアント装置は、コンピューティングシステム１０２の規制文書／質問処理機能を「クラウド」サービスとして利用してよい。代替的に、コンピューティングシステム１０２はローカルサーバ又はサーバの集合であってよく、又はクライアント装置１０４は自身が規制文書処理タスクを実行すべく、コンピューティングシステム１０２の要素及び機能を含んでいてよい。後者の場合、システム１００からコンピューティングシステム１０２及びネットワーク１１０が除外されていてよい。更に他の実施形態において、ＮＬＰモデルの一つ、一部、又は全部が、コンピューティングシステム１０２又はクライアント装置１０４に提供される前に、図１に示していない別のシステム又は装置により訓練される。
【0015】
図１に見られるように、コンピューティングシステム１０２は、処理ハードウェア１２０、ネットワークインターフェース１２２、及びメモリ１２４を含んでいる。しかし、いくつかの実施形態において、コンピューティングシステム１０２は、互に同位置又は遠隔地にある２つ以上のコンピュータを含んでいる。これらの分散された実施形態において、処理ハードウェア１２０、ネットワークインターフェース１２２、及び／又はメモリ１２４に関連して本明細書で記述する動作は各々、複数の処理ユニット、ネットワークインターフェース、及び／又はメモリに跨って分割されていてよい。コンピューティングシステム１０２は、データベース１２６に（直接、又は１つ以上のネットワーク及び／或いは図１に示していないコンピューティング装置／システムを介して）通信可能に結合されている。データベース１２６は、１つ以上のローカルメモリ又は分散メモリに保存された１つ以上のデータベースであってよい。データベース１２６は包括的に、機械学習モデル（例えば後述するＮＬＰモデル１３０）の訓練に用いられてよいデータだけでなく、過去の規制質問及びその回答（例えば適当な知識、経験、及び職責を有するユーザーにより手動で作成／生成された回答）のアーカイブを含んでいる。しかし、いくつかの実施形態において、１つ以上のＮＬＰモデル１３０が、ウェブサイト、ソーシャルメディアサービス、及び／又は１つ以上の他のソースから収集／スクレイピングされたテキストデータ等、データベース１２６の外部のデータを用いて訓練される。
【0016】
処理ハードウェア１２０は、各々が本明細書に記述するコンピューティングシステム１０２の機能の一部又は全部を実行すべくメモリ１２４に保存されたソフトウェア命令を実行するプログラム可能マイクロプロセッサであってよい１つ以上のプロセッサを含んでいる。処理ハードウェア１２０は、例えば１つ以上の中央処理装置（ＣＰＵ）及び／又は１つ以上のグラフィック処理装置（ＧＰＵ）を含んでいてよい。いくつかの実施形態において、処理ハードウェア１２０内のプロセッサのいくつかは他の種類のプロセッサ（例えば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラム可能ゲートアレイ（ＦＰＧＡ）等）であってよい。
【0017】
ネットワークインターフェース１２２は、１つ以上の通信プロトコルを用いてネットワーク１１０を介してクライアント装置１０４と（及び他のクライアント装置と）通信すべく構成された任意の適当なハードウェア（例えばフロントエンド送受信ハードウェア）、ファームウェア、及び／又はソフトウェアを含んでいてよい。例えば、ネットワークインターフェース１２２は、インターネット又はイントラネット等を介してコンピューティングシステム１０２がクライアント装置１０４及び他のクライアント装置と通信可能にするイーサネットインターフェースであっても、又は含んでいてもよい。
【0018】
メモリ１２４は、１つ以上の揮発性メモリ及び／又は不揮発性メモリを含んでいてよい。読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）等、１種類以上の任意の適当なメモリが含まれていてよい。メモリ１２４は包括的に、１つ以上のソフトウェアアプリケーション、それらのアプリケーションが受信／使用したデータ、及びそれらのアプリケーションが出力／生成したデータを保存することができる。これらのアプリケーションには、処理ハードウェア１２０により実行されたならば、規制文書／質問を処理し、これらの文書／質問に対する応答の生成を容易にする仕方で情報を出力／表示する規制文書応答促進（ＲＤＲＦ）アプリケーション１２８が含まれる。例えば、以下に詳述するように、ＲＤＲＦアプリケーション１２８は、検討中の規制質問を分類し、検討中の質問に類似する他の文書（例えば他の規制質問）を識別し、検討中の質問に対する回答を生成し、及び／又は検討中の質問を要約することができる。以下でＲＤＲＦアプリケーション１２８の様々なソフトウェア要素を用語「ユニット」を用いて説明するが、この用語は特定の種類のソフトウェア機能を指して用いられるものと理解されたい。図１に示す様々なソフトウェアユニットは代替的に２つ以上の異なるソフトウェアアプリケーションに跨って分散されてもいても、及び／又は任意の単一のソフトウェアユニットの機能が２つ以上のソフトウェアアプリケーションに跨って分割されていてもよい。更に、図示するソフトウェアユニットのうち２つ以上が単一のソフトウェアモジュールにより実装されていても、及び／又は図示するソフトウェアユニットのうち２つ以上が特定のモジュール／ライブラリ／リソース等を共有していてもよい。メモリ１２４はまた、ＲＤＲＦアプリケーション１２８により利用される（恐らくはその一部である）１つ以上のＮＬＰ モデル１３０も保存している。
【0019】
一般に、ＲＤＲＦアプリケーション１２８の前処理ユニット１４０が、異なる質問へのデータの構文解析、後の処理に無関係な単語の除外、及び／又は他の適当な操作等、規制質問を含むテキストデータ（例えばデータファイル）に対して１つ以上の演算を実行する。ＲＤＲＦアプリケーション１２８はまた、分類ユニット１４２Ａ、類似性ユニット１４２Ｂ、回答生成ユニット１４２Ｃ、及び要約ユニット１４２Ｄを（図１に示す実施形態に）含む、ＲＤＲＦアプリケーション１２８の主要な処理タスクを実行する多数のソフトウェアユニットも含んでいる。他の実施形態において、ＲＤＲＦアプリケーション１２８は、ユニット１４２Ａ～Ｄのうち１つ、２つ、又は３つだけを含んでいるか、及び／又は図１に示していない他の処理ユニットを含んでいる。いくつかの実施形態において、前処理ユニット１４０の機能の一部又は全部がユニット１４２Ａ～Ｄの特定の１つに固有である。例えば、類似性ユニット１４２Ｂは、要約ユニット１４２Ｄと同じ前処理ステップを必要としない場合がある。
【0020】
分類ユニット１４２Ａは一般に、テキストデータにより表される各規制質問毎に適当なカテゴリを判定すべく１つ以上のＮＬＰモデル１３０をテキストデータに（例えば前処理されたテキストデータに）適用する。ＲＤＲＦアプリケーション１２８は、判定されたカテゴリを示すデータを（例えばクライアント装置１０４又は図１に示されていない別のコンピューティング装置或いはシステムに）保存、送信、及び／又は（例えば、ローカル及び／又はクライアント装置１０４に）表示する。例えば、ＲＤＲＦアプリケーション１２８は、判定されたカテゴリをローカルに（例えば、メモリ１２４に）保存し、次いで保存されたカテゴリをクライアント装置（例えばクライアント装置１０４）に送信して、クライアント装置にこれらのカテゴリを表示させる（又はクライアント装置に当該質問を、判定されたカテゴリを別途反映する仕方で表示させる）、又は保存されたカテゴリをプリンタ装置に送信して当該プリンタ装置にカテゴリの表示を印刷させてよい。別の例として、ＲＤＲＦアプリケーション１２８はこれらのカテゴリをコンピューティングシステム１０２に直接表示してもよい。
【0021】
類似性ユニット１４２Ｂは一般に、テキストデータにより表される特定の規制質問に最も類似する１つ以上の文書（例えば他の、過去／遡及的質問）を識別すべく１つ以上のＮＬＰモデル１３０をテキストデータに（又は前処理されたテキストデータに）適用する。類似性ユニット１４２Ｂは、例えばデータベース１２６に含まれる文書のうち類似文書を識別することができる。ＲＤＲＦアプリケーション１２８は、識別された類似文書を示すデータを保存、（例えばクライアント装置１０４又は図１に示していない別のコンピューティング装置又はシステムに）送信、及び／又は（例えばローカル及び／又はクライアント装置１０４で）表示する。例えば、ＲＤＲＦアプリケーション１２８は、識別された文書を示すデータをローカルに（例えばメモリ１２４に）保存し、次いで保存されたデータをクライアント装置（例えばクライアント装置１０４）に送信して、クライアント装置に、これらの文書に関する情報（例えばタイトル、抜粋等）を表示させたり、保存されたデータをプリンタ装置に送信して当該プリンタ装置にそのような情報を印刷させたりすることができる。別の例として、ＲＤＲＦアプリケーション１２８はデータ／情報をコンピューティングシステム１０２に直接表示してもよい。
【0022】
回答生成ユニット１４２Ｃは一般に、テキストデータにより表される特定の規制質問に対する１つ以上の回答候補を生成すべく１つ以上のＮＬＰモデル１３０をテキストデータに（又は前処理されたテキストデータに）適用する。いくつかの実施形態において、回答生成ユニット１４２Ｃは、類似性ユニット１４２Ｂを利用して（又は類似性ユニット１４２Ｂに類似する機能を実行して）、データベース１２６内で特定の規制質問に類似した文書を発見し、次いで類似文書のテキストコンテンツに少なくとも部分的に基づいて回答候補を生成する。これらの実施形態において、回答生成ユニット１４２Ｃは、類似文書の一部（例えば類似性ユニット１４２Ｂにより識別された過去の規制質問に対する実際の回答の一部）を識別及び抽出することにより回答候補を生成しても、又は類似文書の逐語的テキストに依存することなく（又は完全に依存することなく）応答を合成してもよい。ＲＤＲＦアプリケーション１２８は、生成された回答を示すデータ（例えば回答自体）を保存、（例えばクライアント装置１０４又は図１に示していない別のコンピューティング装置又はシステムに）送信、及び／又は（例えばローカル及び／又はクライアント装置１０４に）表示する。例えば、ＲＤＲＦアプリケーション１２８は、生成された回答を（例えばメモリ１２４に）ローカルに保存し、次いで保存された回答をクライアント装置（例えばクライアント装置１０４）に送信してクライアント装置に回答を表示させるか、又は保存された回答をプリンタ装置に送信してプリンタ装置に回答を印刷させることができる。別の例として、ＲＤＲＦアプリケーション１２８はコンピューティングシステム１０２に回答を直接表示してもよい。
【0023】
要約ユニット１４２Ｄは一般に、テキストデータにより表される特定の規制質問のより短い要約を生成すべく１つ以上のＮＬＰモデル１３０をテキストデータに（又は前処理されたテキストデータに）適用する。いくつかの実施形態において、要約ユニット１４２Ｄは、類似性ユニット１４２Ｂを利用して（又は類似性ユニット１４２Ｂに類似する機能を実行して）データベース１２６内で特定の規制質問に類似文書を発見し、次いで類似文書のテキストコンテンツに少なくとも部分的に基づいて要約を生成する。ＲＤＲＦアプリケーション１２８は、生成された要約を示すデータ（例えば要約自体）を保存、（例えばクライアント装置１０４又は図１に示していない別のコンピューティング装置或いはシステムに）送信、及び／又は（例えばローカル及び／又はクライアント装置１０４に）表示する。例えば、ＲＤＲＦアプリケーション１２８は、生成された要約を（例えばメモリ１２４に）ローカルに保存し、次いで保存された要約をクライアント装置（例えばクライアント装置１０４）に送信してクライアント装置に要約を表示させるか又は保存された要約をプリンタ装置に送信してプリンタ装置に要約を印刷させることができる。別の例として、ＲＤＲＦアプリケーション１２８はコンピューティングシステム１０２に要約を直接表示してもよい。
【0024】
各々のユニット１４２Ａ～Ｄの動作について以下に更に詳細に記述する。いくつかの実施形態において、ユニット１４２Ａ～Ｄの一つ、一部、又は全部の各々が、ＮＬＰモデル１３０の２つ以上のＮＬＰモデルを含んでいてよいことが分かる。一実施形態において、例えば、ＮＬＰモデル１３０は、特定の質問に対応するテキストデータが、単一の各カテゴリに属するものとして分類すべきか又は分類すべきでないかを（例えばＮＬＰモデル１３０の１つが「安全」として分類するか否かを判定し、ＮＬＰモデル１３０の別の１つが「ラベリング」として分類するか否かを判定する等）判定すべく各々が特化された複数のＮＬＰ分類モデルを含み、この場合分類ユニット１４２Ａは、これらクラス固有のＮＬＰモデルの各々を利用して１つ以上のクラス／カテゴリに従い各質問を分類することができる。別の例として、回答生成ユニット１４２Ｃは、データベース１２６内で特定の規制質問に類似文書を識別すべくＮＬＰモデル１３０のうち第１のモデル、及び識別された文書のテキストコンテンツに基づいて規制質問に対する１つ以上の回答候補を生成すべくＮＬＰモデル１３０のうち第２のモデルを含んでいてよい。
【0025】
ＲＤＲＦアプリケーション１２８はまた、クライアント装置１０４を具体的に参照して本明細書に記述するように、クライアント装置のユーザーインターフェース及びウェブブラウザのアプリケーションを介してユーザーにより入力されたデータを収集し、及び／又はクライアント装置のユーザーインターフェース及びウェブブラウザのアプリケーションに提示されたコントロールのユーザーによる起動を検出することができる。クライアント装置１０４は、処理ハードウェア１６０、ネットワークインターフェース１６２、表示装置１６４、ユーザー入力装置１６６、及びメモリ１６８を含んでいる。処理ハードウェア１６０は、１つ以上のプロセッサを含み、それらの各々が本明細書に記述するクライアント装置１０４の機能の一部又は全部を実行すべくメモリ１６８に保存されたソフトウェア命令を実行するプログラム可能マイクロプロセッサであってよい。処理ハードウェア１６０は、例えば１つ以上のＣＰＵ及び／又は１つ以上のＧＰＵを含んでいてよい。いくつかの実施形態において、処理ハードウェア１６０内のプロセッサのいくつかは他の種類のプロセッサ（例えばＡＳＩＣ、ＦＰＧＡ等）であってよい。
【0026】
ネットワークインターフェース１６２は、１つ以上の通信プロトコルを用いてネットワーク１１０を介してコンピューティングシステム１０２と通信すべく構成された任意の適当なハードウェア（例えばフロントエンド送受信ハードウェア）、ファームウェア、及び／又はソフトウェアを含んでいてよい。例えば、ネットワークインターフェース１６２は、クライアント装置１０４がインターネット又はイントラネット等を介してコンピューティングシステム１０２と通信可能にするイーサネットインターフェースであってよく、又はイーサネットインターフェースを含んでいてよい。
【0027】
メモリ１６８は、１つ以上の揮発性メモリ及び／又は不揮発性メモリを含んでいてよい。１種類以上の任意の適当なメモリ、例えばＲＯＭ、ＲＡＭ、フラッシュメモリ、ＳＳＤ、ＨＤＤ等が含まれていてよい。メモリ１６８は包括的に、１つ以上のソフトウェアアプリケーション、それらのアプリケーションが受信／使用したデータ、及びそれらのアプリケーションが出力／生成したデータを保存することができる。これらのアプリケーションには、処理ハードウェア１６０により実行されたならば、クライアント装置１０４のユーザーが、様々なウェブサイト及びＲＤＲＦアプリケーション１２８を実行する際にコンピューティングシステム１０２が提供するサービスを含むウェブサービスにアクセス可能にするウェブブラウザアプリケーション１７０が含まれている。図１に示していない他の実施形態において（例えばウェブサービスを利用しない特定の実施形態において）、メモリ１６８は、ＲＤＲＦアプリケーション１２８及びＮＬＰモデル１３０を保存してローカルに実行する。
【0028】
クライアント装置１０４の表示装置１６４は、ユーザーに情報を提示する任意の適当なディスプレイ技術（例えばＬＥＤ、ＯＬＥＤ、ＬＣＤ等）を実装することができ、クライアント装置１０４のユーザー入力装置１６６は、キーボード、マイクロフォン、マウス、及び／又は他の任意の適当な入力装置を含んでいてよい。いくつかの実施形態において、表示装置１６４の少なくとも一部とユーザー入力装置１６６の少なくとも一部が単一の装置（例えばタッチスクリーンディスプレイ）内に一体化されている。一般に、表示装置１６４及びユーザー入力装置１６６は一体的に、ウェブサービスを介して（例えばウェブブラウザアプリケーション１７０、ネットワークインターフェース１６２、ネットワーク１１０、及びネットワークインターフェース１２２を介して）、又は（ＲＤＲＦアプリケーション１２８及びＮＬＰモデル１３０がクライアント装置１０４上に存在する場合は）ローカルにＲＤＲＦアプリケーション１２８との通信を可能するユーザーインターフェースとユーザーが対話できるようにしてよい。例えば、ユーザーは、図７Ａ～Ｃのうち１つ以上のいずれかを参照して後述する仕方でユーザーインターフェースと対話することができる。
【0029】
図２に、ＲＤＲＦアプリケーション１２８のユニット１４２Ａ～Ｄの機能がパイプライン２００として配置されている、例示的な実施形態を示す。パイプライン２００において、ステージ２０２で、特定の規制質問が検討のため選択又は取得される。規制質問は、ユーザーインターフェースに（例えば表示装置１６４及びユーザー入力装置１６６を介して）ユーザーが入力した質問であっても、又は前処理ユニット１４０が例えばより大きい文書から自動的に抽出した質問であってもよい。パイプライン２００のステージ２０４で要約ユニット１４２Ｄが規制質問を要約する。ＲＤＲＦアプリケーション１２８は要約を（例えばネットワーク１１０及び表示装置１６４を介して）ユーザーに対して表示させることができる。また、図示する実施形態において、規制質問の要約されたバージョンがステージ２０６で分類ユニット１４２Ａにより分類される。しかし、他の実施形態において、分類ユニット１４２Ａは要約を操作するのではなく、（恐らくは前処理ユニット１４０による前処理の後で）規制質問に対して直接操作する。いずれの場合でも、ＲＤＲＦアプリケーション１２８は、カテゴリ／分類を（例えばネットワーク１１０及び表示装置１６４を介して）、例えばカテゴリ／分類に対応するテキストラベルを生成／表示することにより、又は特定のカテゴリ用に予約されているユーザーインターフェースの一部に規制質問を表示させることによりユーザーに対して表示させることができる。
【0030】
ステージ２０８において、類似性ユニット１４２Ｂはデータベース１２６から規制質問に類似する１つ以上の文書を識別する。図示する実施形態において、ステージ２０６からの分類をステージ２０８で使用する。例えば、ＲＤＲＦアプリケーション１２８は、分類に固有のＮＬＰモデルをステージ２０８で選択及び使用することができる。しかし、他の実施形態において、類似性ユニット１４２Ｂはステージ２０６からの分類を使用せず、その代わりに（恐らくは前処理ユニット１４０による前処理の後で）規制質問自体だけを操作する。いずれの場合も、ＲＤＲＦアプリケーション１２８は、例えば文書の名称及び／又は他の識別子（例えばファイル名）、及び／又は文書からのテキストの一部（例えば類似性ユニット１４２Ｂに文書を識別させた特定のテキストの少なくとも一部）を生成／表示することにより、類似文書に関連する情報を（例えばネットワーク１１０及び表示装置１６４を介して）ユーザーに対して表示させることができる。
【0031】
ステージ２１０において、回答生成ユニット１４２Ｄは、規制質問に対する１つ以上の回答候補を生成する。図示する実施形態において、ステージ２０８からの類似文書をステージ２１０で用いて回答を生成する。例えば、類似性ユニット１４２Ｂは、ステージ２０８で第１のＮＬＰモデルを用いてデータベース１２６内の類似文書を識別し、その後ステージ２１０において回答生成ユニット１４２Ｄが識別された文書のテキストコンテンツを解析して１つ以上の回答候補を抽出又は合成することができる。ＲＤＲＦアプリケーション１２８は次いで、回答候補を、恐らくは回答候補が導出された文書の識別子（例えばファイル名及び／又は他の文書識別子）等の他の情報、及び／又は回答候補が導出された文書のテキストの一部（例えば回答生成ユニット１４２Ｄが回答の生成に用いた特定のテキストの少なくとも一部）と共に（例えばネットワーク１１０及び表示装置１６４を介して）ユーザーに対して表示させることができる。
【0032】
図３に、いくつかの実施形態による、システム１００の実行時動作を反映する処理３００を示す。しかし、処理３００により反映される実行時動作の前に、コンピューティングシステム１０２（又は図１に示していない別のコンピューティングシステム）が、データベース１２６に保存されたデータ、及び／又はシステム１００の外部の他のデータを用いて、ＮＬＰモデル１３０を訓練及び検証する。いくつかの訓練データは、（例えば以下で更に議論するように単語の文脈化された埋め込みを学習するモデルを訓練するための）教師なし学習用であってよい一方、他の訓練データは（例えば分類ユニット１４２Ａ用の分類モデルを訓練するための）教師あり学習用に手動で用意されたラベルを含んでいてよい。
【0033】
処理３００のステージ３０２で、ＲＤＲＦアプリケーション１２８は規制質問（例えばＨＡＱ、ＲＴＱ等の１つ以上の規制文書に関連する質問）を取得する。例えば、ＲＤＲＦアプリケーション１２８は、遠隔又はローカルソースからＰＤＦ又は他の電子ファイル形式の規制文書を取得、１つ以上のより大きい規制文書から抽出されたテキストデータを取得、及び手動で入力された質問を受信すること等ができる。
【0034】
ステージ３０４において、前処理ユニット１４０はテキストから構成要素である質問を構文解析する。前処理ユニット１４０は、テキストを含むデータファイル内の既知の区切り文字又は欄を用いて、テキストを含むデータファイルの他のフォーマットに基づいて（例えば、ＰＤＦファイル内のテキストの相対的な間隔／位置調整に基づいて）、又は他の任意の適当な技術を用いてテキストを質問に構文解析することができる。
【0035】
ステージ３０６において、前処理ユニット１４０は、ＲＤＲＦアプリケーション１２８の１つ以上のユニット及び１つ以上のＮＬＰモデル１３０が実行するタスクに無関係な（又は無関係な筈の）単語及び／又は文字を除外することにより、質問のテキストをクリーニングする。これは、例えば一部又は全部の接続詞（例えば「のために」、「及び」、「も～でない」、「しかし」、「又は」、「何故ならば」、「～したとき」、「～する間」等）、一部又は全部の前置詞（例えば「～の中」、「～の下」、「～に向けて」、「～の前に」等）、一部又は全部の特殊文字（例えばセミコロン、引用符等）等を除外することを含んでいてよい。いくつかの実施形態において、前処理ユニット１４０はまた、他の文脈では実質的な意味を有しているが、特定のタスクの実行には無関係、又は阻害さえする単語も除外する。例えば、ステージ３０６が分類ユニット１４２Ａによる分類の準備に使用される場合、前処理ユニット１４０は数値を表す単語、或いは「大きい」又は「３％」等の程度だけを表す単語を除外してよい。
【0036】
ステージ３０８において、前処理ユニット１４０は、質問のテキストをトークン化する（例えば、各質問を個々の単語又は他の言語単位に構文解析する）。ステージ３１０において、前処理ユニット１４０は「クリーニングされた」質問の各トークン（例えば、各単語）を数値に変換することにより、質問内の単語列（ステージ３０６で除外された単語を除く）を数列に変換する。例えば、比較的短い質問「１０ｃＰより大きい粘度を示す詳細な性能結果を提供する」は、「提供する」、「詳細な」、「性能」、「結果」、「示す」、「粘度」、「～よりも大きい」、「ｃＰ」という単語／トークンにクリーニング及び構文解析されてよく、これらの単語／トークンは数列１２５ ４５３ ０６７ ０１２ ３６３ ２８４ １３８ ４２１に変換されてよい。全ての質問を長さ（すなわち、１つ以上のＮＬＰモデル１３０に適当な所定の固定長）が等しい数列に変換すべく、ステージ３１２において前処理ユニット１４０は必要に応じて各数列をパディングする。固定長は、例えば（ステージ３０６で実行された種類のクリーニングの後で）規制文書の最も長い質問に存在すると予想されるトークンの数よりも僅かに多くてよい。
【0037】
ステージ３１４において、１つ以上のユニット１４２Ａ～Ｄが、各々のタスクを実行すべく１つ以上のＮＬＰモデル１３０を（恐らくはパディングされた）数列に適用する。例えば、分類ユニット１４２は（恐らくはパディングされた）数列にＮＬＰモデル１３０のうち１つを、当該数列に対応する規制質問を分類すべく適用してよい。ステージ３１６において、ＲＤＲＦアプリケーション１２８は、ＮＬＰモデル１３０により生成された出力を示すデータ（例えば１つ以上の分類を示すデータ）を保存、送信、及び／又は表示する。例えば、分類ユニット１４２Ａがステージ３１４で動作したならば、コンピューティングシステム１０２は、クライアント装置１０４にデータを送信して、クライアント装置１０４の表示装置１６４に、各質問の横に適当なカテゴリを表示させるか、又は表示装置１６４に、ユーザーが指定したカテゴリ（例えば、ウェブブラウザアプリケーション１７０又は別のアプリケーション等を介してユーザーインターフェースにアクセスする際に、ユーザー入力装置１６６を介してユーザーが示すカテゴリ）に関連付けられた質問だけを表示させることができる。別の例として、コンピューティングシステム１０２は、（例えばコンピューティングシステム１０２、クライアント装置１０４、及び／又は別のコンピューティング装置或いはシステムが）後で使用するために、メモリ（例えばフラッシュ装置、メモリ１２４の一部等）にデータを保存させる、又はプリンタ装置にデータを印刷させる等を行ってよい。
【0038】
図３に示す様々なステージの順序は図示するものとは異なる場合があり、及び／又は実施形態及びステージ３１４で動作しているユニット１４２Ａ～Ｄに依存してより少ない及び／又は異なる前処理ステージが含まれていてよい。いくつかの実施形態において、例えば、前処理ユニット１４０は、全ての質問のテキストをクリーニングして無関係な単語を除外した後（ステージ３０６）でのみ質問を構文解析する（ステージ３０４）。別の例として、一連のステージ３０６、３０８、３１０、３１２、３１４、及び３１６は質問毎に（例えば、各質問がステージ３０４で構文解析されるに従い、又は全ての質問が構文解析された後で）繰り返されてよく、又はマルチスレッド処理によりステージ３０６、３０８、３１０、３１２、３１４、及び／又は３１６が２つ以上の質問に対して同時に動作可能にされてよい。
【0039】
ここで特定のＮＬＰモデル１３０の様々な実施形態について議論する。最初に分類に言及するに、分類ユニット１４２Ａは、ニューラルネットワークである（ＮＬＰモデル１３０の）ＮＬＰモデルを用いて、単語又は他のトークンに基づく分類タスクを実行する（又は他の実施形態では上で説明したように、各々の分類タスクを実行する一組のニューラルネットワーク）。図４に示す実施形態において、分類ユニット１４２Ａが用いるＮＬＰモデルは、深層フィードフォワード（ＤＦＦ）ニューラルネットワーク４００であるか、又は含んでいる。直観に反して、ＤＦＦニューラルネットワーク４００は、分類等のテキスト理解タスクに余り適していないことを示す双方向性の欠如にもかかわらず良好に機能することができる。ＤＦＦニューラルネットワーク４００の性能について図５Ａ～Ｃを参照して以下に詳述する。
【0040】
ＤＦＦニューラルネットワーク４００において、埋め込み層がステージ３１０で生成された数列から埋め込み行列４０２を生成し、埋め込み行列４０２の一方の次元は数列（例えば５，０００、又は１０，０００等）の（パディング後の）長さであり、埋め込み行列４０２の他方の次元はＤＦＦニューラルネットワーク４００の大域最大プーリング層４０４（例えば１２８、２５６、又は２の別の適当な倍数）の入力次元である。他の実施形態において、埋め込み行列４０２は３次元である。ＤＦＦニューラルネットワーク４００は、大域最大プーリング層４０４の後に第１の密層４０６、及び第１の密層４０６の後に第２の密層４０８を含んでいる。図示する実施形態において、第２の密層４０８の各ノードは異なる分類／ラベル／カテゴリ４１０に対応する。本例では、利用可能なカテゴリの組は「ＣＭＣ」（例えば原薬及び製剤原料の製造及び制御に関する）、「臨床」（例えば患者、患者向けの製剤、又は患者向けの装置に関する）、「規制」（例えば規制又は行政空間に関する）、「ラベリング」（例えば製品のラベリング、言語、及び法的要件の遵守に関する）、及び「安全性」（例えば患者の安全性に関する）が含まれる。ＤＦＦニューラルネットワーク４００は、図４に示していない１つ以上の追加的なステージ及び／又は層を含んでいてよい。例えば、ＤＦＦニューラルネットワーク４００は大域最大プーリング層４０４の直後にドロップアウトステージ、第１の密層４０６の直後に活性化層（例えばｔａｎｈ又は他の適当な活性化関数を有する）、及び活性化層の直後に別のドロップアウトステージを含んでいてよい。代替的な複数の実施形態において、ＤＦＦニューラルネットワーク４００は図４に示すものよりも多くの又は少ない密及び／又はプーリング層を含んでいてよい。しかし、図４の比較的低複雑度のアーキテクチャ（１つのプーリング層だけ、及び２つの密層だけを有する）は、プーリング層及び／又は密層がより多い又は少ない他のＤＦＦニューラルネットワークを上回る結果をもたらすことができる。
【0041】
ＤＦＦニューラルネットワーク４００は第２の密層４０８の各ノードの値を計算し、いくつかの実施形態において、分類ユニット１４２Ａは、第２の密層４０８のどのノードが最も高い値を有するかに基づいて分類を判定する。しかし、他の実施形態では分類ユニット１４２Ａは適当な分類に関して厳密な判定を行わず、代わりに（例えばユーザーが検査／検討するために第２の密層４０８が計算した値の一部又は全部を提供することにより）緩い判定を示すデータを出力する。
【0042】
ＤＦＦニューラルネットワーク４００を（実行時動作の前に）訓練するには、データベース１２６（及び／又は他の任意の箇所）から手動でラベル付けされた規制質問を用いてよく、当該質問は入力／特徴として機能し、手動ラベルは訓練ラベルとして機能する。ＤＦＦニューラルネットワーク４００は簡単であるため、他の分類モデル（例えば双方向ニューラルネットワーク）よりも遥かに速く（例えば１桁以上）訓練及び検証並びに分類を実行することができる。
【0043】
図４に示すＤＦＦニューラルネットワーク４００（すなわち、丁度１つの大域最大プーリング層及び丁度２つの密層を有する）の性能を図５Ａ～Ｃに示す図５Ａ～Ｃは、訓練及び検証の両方を示す。図５Ａ～Ｃは、訓練結果及び検証結果の両方を示しており、検証結果は予想実行時性能をより良く表している。図５Ａ、図５Ｂ、及び図５Ｃのプロット５００、５２０、及び５４０に各々見られるように、ＤＦＦニューラルネットワーク４００は、約８０％の精度、約０．６２の損失、及び約７６％の想起を与えた。このようなモデルの精度、損失、及び想起尺度は、不正確に分類された質問は若干の追加的な遅延を伴うもの、最終的に（例えば、最初に相応しくない人物に提示された後で、又は最初に「未知」と分類された後で）相応しい人物にルーティングされるため、理想的な尺度に極めて近くなくてもよいことが分かる。尺度が合理的に良好である限り、分類は回答者の時間を極めて大幅に節約することができる。
【0044】
図６に、分類ユニット１４２Ａが用いるかＮＬＰモデルが双方向ニューラルネットワーク６００であるか又は含んでいる代替的な実施形態を示す。図６の例示的な双方向ニューラルネットワーク６００（例えばＬＳＴＭニューラルネットワーク）は、入力（例えば図３のステージ３１２で出力されたパディングされた数列）を受理する入力層６０２、（例えばパディングされた数列から埋め込み行列４０２と同様の埋め込み行列を生成するための）埋め込み層６０４、ニューラルネットワーク６００内で層間フィードバックを実行する双方向層６０６、１次元畳み込み（Ｃｏｎｖ１Ｄ）層６０８、１次元平均プーリング層６１０、１次元最大プーリング層６１２、連接層６１４、及び密層６１６を含んでいる。他の実施形態において、双方向ニューラルネットワーク６００は、より多くの、又はより少ない層及び／又はステージ（例えばより多くの密層、より多くのプーリング層等）を含んでいてよい。双方向ニューラルネットワーク６００はＤＦＦニューラルネットワーク４００よりも訓練、検証、及び実行により多くの時間を要する場合があるが、双方向ニューラルネットワーク６００は、実質的に、テキストを順方向及び逆方向の両方で読める能力により、いくつかのケースにおいて（例えば、質問の多くが比較的長い場合）より良い結果を提供する場合がある。
【0045】
類似性ユニット１４２Ｂは、双方向ニューラルネットワークであるか又は含んでいる（ＮＬＰモデル１３０の）ＮＬＰモデルを用いてよい。更に、類似性ユニット１４２Ｂが用いるＮＬＰモデルは、文脈化された埋め込みモデル（すなわち、単語の埋め込みを当該単語が使用された文脈に基づいて学習すべく訓練されたモデル）であってよい。例えば、類似性ユニット１４２Ｂは、ＢＥＲＴ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｅｎｃｏｄｅｒ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｆｒｏｍ Ｔｒａｎｓｆｏｒｍｅｒｓ（トランスフォーマからの双方向エンコーダ表現））モデルを用いて類似文書を識別してよい。
【0046】
回答生成ユニット１４２Ｃは、（直接、又は類似性ユニット１４２Ｂを呼び出す等により）同一ＮＬＰモデルを用いて規制質問に類似した文書を識別でき、また（同じくＮＬＰモデル１３０の）追加的なＮＬＰモデルを用いて、識別された文書に基づいて規制質問に対する１つ以上の回答候補を生成することができる。この追加的なＮＬＰモデルは、例えばＧＰＴ－２等のトランスフォーマに基づく言語モデルによりあってよく、ＳＱｕＡＤ（Ｓｔａｎｆｏｒｄ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ Ｄａｔａｓｅｔ（スタンフォード質問回答データセット））等の大規模なデータセットを用いて訓練されてよい。いくつかの実施形態において、ＮＬＰモデルは、規制質問／文書に現れる可能性が高い言語をより反映したテキストコンテンツを有するデータソースを用いて（コンピューティングシステム１０２又は別のコンピューティング装置／システムにより）更に訓練／精緻化される。規制質問が医薬品（例えば使用法、リスク等）に関連する場合、例えば、ＮＬＰモデルは遡及的ＨＡＱ及びＲＴＱ、医薬品特許等、医薬品に関連する用語を用いる可能性がより高い文書を用いて更に訓練することができる。このように、回答生成ユニット１４２Ｃが用いる追加的なＮＬＰモデルは、規制質問の専門用語の理解により相応しいものとなる。
【0047】
要約ユニット１４２Ｄは、（ＮＬＰモデル１３０の）更に別のＮＬＰモデルを用いて規制質問の要約を生成することができる。要約ユニット１４２Ｄが用いるＮＬＰモデルは双方向ニューラルネットワークであっても、又は含んでいてよい。更に、要約ユニット１４２Ｄが用いるＮＬＰモデルは文脈化された埋め込みモデルによりあってよい。例えば、要約ユニット１４２ＤはＢＥＲＴモデルを用いて要約を生成することができる。
【0048】
ＲＤＲＦアプリケーション１２８は、エラスティック検索エンジンを用いてデータベース１２６（又は少なくとも、遡及的な規制文書及び／又は他の文書を含むデータベース１２６の一部）を検索することができる。エラスティック検索エンジンはデータが疎であるため、且つエラスティック検索が埋め込み（上で述べたように様々なＮＬＰモデルにより用いられてよい）をサポートするため、規制文書で特に正確且つ信頼できることが分かっている。
【0049】
図７Ａ～Ｃに、図１のシステム１００が提供できる例示的なユーザーインターフェースを示す。より具体的には、クライアント装置１０４のウェブブラウザアプリケーション１７０は、コンピューティングシステム１０２で動作しているＲＤＲＦアプリケーション１２８によりクライアント装置１０４に提供されたデータを用いて、図７Ａ～Ｃのユーザーインターフェースのいずれか又は全部を表示装置１６４を介してユーザーに提示できる。代替的に、図７Ａ～Ｃのユーザーインターフェースは全てクライアント装置１０４で（例えば、ＲＤＲＦアプリケーション１２８がクライアント装置に常駐し、且つシステム１００はコンピューティングシステム１０２を含まない実施形態において）生成されてよい。
【0050】
最初に図７Ａを参照するに、例示的なユーザーインターフェース７００は、規制文書からの様々な質問のテキストを、関連付けられた情報（すなわち、本例では「臨床」又は「ＣＭＣ」等、質問の分類）と共に表示できる領域７０２を含んでいる。ユーザーインターフェース７００はまた、ユーザーに様々なフィルタリングオプションを提供する一連のコントロール７０４を含んでいる。コントロール７０４の（既定又はユーザー設定された）設定に基づいて、領域７０２は、指定されたフィルタ基準を満たす（１つ以上の関連する規制文書からの）質問だけを表示する。「予測ラベル」コントロールは、分類ユニット１４２Ａによりなされた質問の完全な組の分類のいずれかに従いユーザーがフィルタリングできるようにする。テキスト検索コントロールは、質問のテキスト内に含まれる文字、用語等に基づいてユーザーが質問を検索できるようにする。
【0051】
以下の表１に、（例えばユーザーが質問の完全なリストをスクロールダウンする場合）領域７０２に含まれていてよい様々な分類を有する例示的な質問のより広範なリストを示す。しかし、表１のリストが大多数の実世界シナリオと比較して依然として極めて短いことが分かる。
【0052】
【表1】
【0053】
例示的なユーザーインターフェース７００はまた、質問の完全な組内で最も頻出する単語のカウント値（又は、いくつかの実施形態ではフィルタリングされた質問の組内で最も頻出する単語のカウント値）を示す単語分布棒グラフ７０６、及び質問の完全な組について最も頻出する分類／ラベル／カテゴリのカウント値を示す予測ラベル分布棒グラフ７１０を含んでいる。例示的なユーザーインターフェース７００はまた、ユーザーが異なる単語の頻度及び数を視覚的に近似するのを支援する単語クラウド７１２を含んでいる。他の実施形態において、ユーザーインターフェース７００は、より多くの情報（例えば、全ての質問を、判定された分類と共に）、より少ない情報（例えば、単語クラウド７１２無しで）、及び／又は異なる情報を表示することができ、及び／又は異なる形式（例えば、棒グラフ７０６、７１０ではなく単純なカウント値）で情報を表示できることが分かる。
【0054】
図７Ｂに、別の例示的なユーザーインターフェース７２０を示す。ユーザーインターフェース７２０において、入力フィールド７２２はユーザーが注目する規制質問を入力（例えばタイプ、又はカットアンドペースト）できるようにする。コントロールユニット７２４は、入力フィールド７２２に入力された質問に適用するモデル又は機能の種類をユーザーが選択できるようにする。本例において、ユーザーが「ＤＣ」を選択したならばＲＤＲＦアプリケーション１２８は入力された質問を分類ユニット１４２Ａにより処理し、ユーザーが「ＳＳ」を選択したならばＲＤＲＦアプリケーション１２８は入力された質問を類似性ユニット１４２Ｂにより処理し、ユーザーが「ＱＡ」を選択したならばＲＤＲＦアプリケーション１２８は入力された質問を回答生成ユニット１４２Ｃにより処理し（これはまた、上で述べたように類似性ユニット１４２Ｂにより質問を処理することも含む）、及びユーザーが「ＳＵＭ」を選択したならばＲＤＲＦアプリケーション１２８は入力された質問を要約ユニット１４２Ｄにより処理する。図７Ｂにユーザーが「ＱＡ」を選択した場合のシナリオを示す。
【0055】
別のコントロール７２６により、ユーザーは（例えば図７Ｂに示す５つの離散的な複雑度レベルの中から選択することにより）モデルの複雑度のレベルを設定できる。複雑度が高いほど、例えばより複雑なＮＬＰモデル（例えばより多くのニューラルネットワーク層）に対応するか、又は単一のＮＬＰモデルがより長い時間適用されることを意味する場合がある。一般に、複雑度が高いほど精度は高くなるが、処理時間も長くなる。
【0056】
ユーザーインターフェース７２０の領域７３０は、ＲＤＲＦアプリケーション１２８により識別された類似文書が示している。いくつかの実施形態において、類似の質問は類似性ユニット１４２Ｂにより識別された質問であり、及び／又はユーザーがコントロール７２４を用いて「ＳＳ」を選択した場合のみ表示される。ユーザーインターフェース７２０の領域７３２は、回答生成ユニット１４２Ｃにより生成された回答候補を、関連付けられた情報と共に示す。本例において、領域７３２は、各回答候補について、回答生成ユニット１４２Ｃが用いているＧＰＴ－２又は他のＮＬＰモデルにより生成された関連付けられた信頼度スコア、図示された回答の導出に回答生成ユニット１４２Ｃが用いたソース／文書の識別子、及び図示された回答の導出に回答生成ユニット１４２Ｃが用いた文書の特定のテキストの少なくとも一部を示す「文脈」も示す。
【0057】
コントロール７３４は、表示された回答が有用／役に立つか、又は有用でない／役に立たないかを（図示の例において、各々「親指を立てる」アイコン又は「親指を下げる」アイコンを選択することにより）ユーザーが示すことを可能にする。ＲＤＲＦアプリケーション１２８、又はコンピューティングシステム１２０或いは別のシステム／装置に保存された他のソフトウェアは、コントロール７３４を介したユーザーの選択又は入力を表すフィードバックデータを用いて、例えば強化学習により回答生成ユニット１４２Ｃが用いる１つ以上のＮＬＰモデル１３０を更に訓練／精緻化することができる。例えば、ＲＤＲＦアプリケーション１２８はフィードバックデータを用いて、類似文書の識別に用いられるＮＬＰモデル（例えば、ＢＥＲＴモデル）を更に訓練すること、及び／又は類似文書に基づいて回答を生成すべく用いられる別のＮＬＰモデル（例えば、ＧＰＴ－２モデル）を更に訓練することができる。
【0058】
図７Ｃに更に別の例示的なユーザーインターフェース７４０を示す。ユーザーインターフェース７４０は、図７Ｂの入力フィールド７２２及びコントロール７２４と同一又は類似していてよい、入力フィールド７４２及びコントロール７４４を含んでいる。ユーザーインターフェース７４０は、例えば図７Ｂに示すユーザーインターフェース７２０と同一であってよいが、ユーザーが「ＱＡ」ではなく「ＳＳ」を選択した異なるシナリオで用いられる。
【0059】
ユーザーインターフェース７４０の領域７４６は、分類ユニット１４２Ａにより判定されたカテゴリ／分類候補の数を各々の信頼度スコアと共に示す。信頼度スコアは、例えば図４に示すＤＦＦニューラルネットワーク４００の第２の密層４０８の異なるノードで出力される数値であってよい。ユーザーインターフェース７４０の領域７５２は、類似性ユニット１４２Ｂにより（データベース１２６内で）識別された類似文書に関する情報を示す。本例において、領域７５２はまた、識別された各文書について、文書の識別子／名称、文書の識別子（「ＩＤ」）、及び類似性ユニット１４２Ｂが文書を「類似」文書として選択／識別する際の基礎として用いた文書の特定のテキストの少なくとも一部を示す「文脈」を示す。
【0060】
ユーザーインターフェース７４０はまた、ユーザーインターフェース７２０のコントロール７３４に類似していてよい、ユーザーフィードバックを提供するコントロール７５４を含んでいる。ＲＤＲＦアプリケーション１２８、又はコンピューティングシステム１２０或いは別のシステム／装置に保存された他のソフトウェアは、コントロール７５４を介してユーザーの選択又は入力を表すフィードバックデータを用いて、類似性ユニット１４２Ｂが用いる１つ以上のＮＬＰモデル１３０を、例えば強化学習により更に訓練／精緻化することができる。例えば、ＲＤＲＦアプリケーション１２８はフィードバックデータを用いて、類似性ユニット１４２Ｂが類似文書の識別に用いるＢＥＲＴモデルを更に訓練することができる。
【0061】
図８～１１は、規制質問に対する回答を容易にする例示的な方法のフロー図である。本方法は、例えばメモリ１２４に保存されたＲＤＲＦアプリケーション１２８のソフトウェア命令を実行する際にコンピューティングシステム１０２の処理ハードウェア１２０により実行されてよい。他の実施形態において、各方法の一部又は全部は、メモリ１６８に保存されたアプリケーション（例えばウェブブラウザアプリケーション１７０、又はクライアント装置１０４に常駐していればＲＤＲＦアプリケーション１２８）のソフトウェア命令を実行する際にクライアント装置１０４の処理ハードウェア１６０により実行される。
【0062】
最初に図８を参照するに、ブロック８０２において、複数の規制質問（例えば１つ以上の規制文書からの質問）を表すテキストデータを取得する。ブロック８０２は、例えば処理３００のステージ３０２に類似していてよい。ブロック８０４において、複数の規制質問の１つ以上の分類を、ブロック８０２で得られたテキストデータをＮＬＰモデルにより処理することにより少なくとも部分的に生成する。ＮＬＰモデルは、例えば図１のＮＬＰモデル１３０のうち１つであってよい。より具体的な例として、ＮＬＰモデルは図４のＤＦＦニューラルネットワーク４００又は図６の双方向ニューラルネットワーク６００であってよい。
【0063】
ブロック８０６において、分類を示すデータを保存、送信、及び／又は表示する。データは、分類（例えば生成された分類の特定の１つに対応する質問のサブセット）から導出されたデータであっても、又は分類自体であってもよい。いくつかの実施形態において、ブロック８０６は、複数の規制質問の少なくともサブセットを、分類を示す仕方で（例えばローカル又は別のコンピューティング装置に）表示させることを含んでいる。例えば、ブロック８０６は、各規制質問を、規制質問に対応する（ブロック８０４で判定された分類の）分類と、ユーザーが選択したフィルタ設定（例えば図７Ａのユーザーインターフェース７００の「予測ラベル」コントロールと類似のコントロールの設定）の両方に基づいて選択的に表示させるか又は表示させないことを含んでいてよい。別の例として、ブロック８０６は、質問のサブセットの各質問（及び恐らくは全ての質問）を、対応する分類に関連付けて（例えば、ブロック８０４で生成された分類が図７Ａのユーザーインターフェース７００、又は同様のユーザーインターフェースに、対応する質問と並べて表示されるように）表示させることを含んでいてよい。
【0064】
いくつかの実施形態において、方法８００は、図８に示していない１つ以上の追加的なブロックを含んでいる。例えば、方法８００は、（例えばブロック８０２の後且つブロック８０４の前で生起する）追加的なブロックを含んでいてよく、当該ブロックでテキストデータに前処理を施して、規制質問の単語列を各々の数列に変換することにより、及び／又はこれらの数列をパディングする（例えば図３の処理３００のステージ３０４、３０６、３０８、３１０、及び／又は３１２を参照しながら上で述べた演算のいずれか）ことにより分類に使用しない単語及び／又は文字を除外することができる。
【0065】
次に図９を参照するに、ブロック９０２において、規制質問（例えば規制文書からの質問）を表すテキストデータを取得する。ブロック９０２は、例えば処理３００のステージ３０２の一部に類似していてよい。ブロック９０４において、規制質問に類似する１つ以上の文書を、ブロック９０２で得られたテキストデータをＮＬＰモデルにより処理することにより少なくとも部分的に識別する。ＮＬＰモデルは、例えば図１のＮＬＰモデル１３０のうち１つであってよい。より具体的な例として、ＮＬＰモデルは、ＢＥＲＴモデル、又は文脈化された埋め込みをサポートする別の双方向ニューラルネットワークであってよい。
【0066】
ブロック９０６において、文書を示すデータを保存、送信、及び／又は表示する。データは、各文書の名称及び／又は他の識別子、及び／又は、例えばブロック９０４でＮＬＰモデルが文書を「類似」文書として識別させた文書からのテキストを含んでいてよい。
【0067】
いくつかの実施形態において、方法９００は、図９に示していない１つ以上の追加的なブロックを含んでいる。例えば、方法９００は、方法８００との関連で上で述べた１つ以上の前処理ステップを適用する（例えば無関係な単語及び／又は文字を除外する、単語列を数列に変換する、及び／又は数列をパディングする）１つ以上の追加的なブロック（例えばブロック９０２の後且つブロック９０４の前に生じる）を含んでいてよい。
【0068】
次に図１０を参照するに、ブロック１００２において、規制質問（例えば規制文書からの質問）を表すテキストデータを取得する。ブロック１００２は、例えば処理３００のステージ３０２の一部に類似していてよい。ブロック１００４において、規制質問に類似する１つ以上の文書を、ブロック１００２で取得したテキストデータを第１のＮＬＰモデルにより処理することにより少なくとも部分的に識別する。ブロック１００４は、例えば方法９００のブロック９０４に類似していてよい。
【0069】
ブロック１００６において、規制質問に対する１つ以上の回答候補を、ブロック１００４で識別された文書を第２のＮＬＰモデルにより処理することにより少なくとも部分的に生成する。第２のＮＬＰモデルは、例えばＧＰＴ－２モデル、又は他の適当な双方向ニューラルネットワークであってよい。ブロック１００８において、ブロック１００６で生成された回答候補を示すデータを保存、送信、及び／又は表示する。各々の回答候補について、データは、回答候補自体、回答候補が導出された文書の識別子、及び／又は回答候補が導出された文書のテキストの一部を含んでいてよい。
【0070】
いくつかの実施形態において、方法１０００は、図１０に示していない１つ以上の追加的なブロックを含んでいる。例えば、方法１０００は、方法８００との関連で上で述べた１つ以上の前処理ステップを適用する（例えば無関係な単語及び／又は文字を除外する、単語列を数列に変換する、及び／又は数列をパディングする）１つ以上の追加的なブロック（例えばブロック１００２の後且つブロック１００４の前に生じる）を含んでいてよい。別の例として、方法１０００は、規制質問に対する１つ以上の回答候補の各々に関連付けられた信頼度スコアを判定する第１の追加的なブロックと、規制質問に対する１つ以上の回答候補の各々に関連付けられた信頼度スコアを示すデータを保存、送信、及び／又は表示する第２の追加的なブロックとを含んでいてよい。更に別の例として、方法１０００は、１つ以上の回答候補の有用性を示すユーザーフィードバックを受信する第１の追加的なブロックと、ユーザーフィードバックを用いて第１及び／又は第２のＮＬＰモデルを訓練する第２の追加的なブロックとを含んでいてよい。
【0071】
次に図１１を参照するに、ブロック１１０２において、規制質問（例えば規制文書からの質問）を表すテキストデータを取得する。ブロック１１０２は、例えば処理３００のステージ３０２の一部に類似していてよい。ブロック１１０４において、規制質問の要約を、ブロック１１０２で得られたテキストデータをＮＬＰモデルにより処理することにより少なくとも部分的に生成する。ＮＬＰモデルは、例えば図１のＮＬＰモデル１３０のうち１つであってよい。より具体的な例として、ＮＬＰモデルは、ＢＥＲＴモデル、又は文脈化された埋め込みをサポートする別の双方向ニューラルネットワークであってよい。
【0072】
ブロック１１０６において、要約を示すデータを保存、送信、及び／又は表示する。データは、例えば要約自体、及び恐らくは要約が導出された１つ以上の文書の名称、識別子、及び／又は部分等の関連付けられた情報を含んでいる。いくつかの実施形態において、方法１１００は図１１に示していない１つ以上の追加的なブロックを含んでいる。例えば、方法１１００は、方法８００との関連で上で述べた１つ以上の前処理ステップを適用する（例えば無関係な単語及び／又は文字を除外する、単語列を数列に変換する、及び／又は数列をパディングする）１つ以上の追加的なブロック（例えばブロック１１０２の後且つブロック１１０４の前に生じる）を含んでいてよい。
【0073】
複数の実施例の以下のリストは、本開示により明示的に考えられる様々な実施形態を反映している。
【実施例】
【0074】
実施例１． 規制質問を処理する方法であって、当該方法は、１つ以上のプロセッサにより、複数の規制質問を表すテキストデータを取得することと、１つ以上のプロセッサにより少なくとも部分的にテキストデータを自然言語処理モデルにより処理することにより、複数の規制質問の１つ以上の分類を生成することと、１つ以上のプロセッサにより、１つ以上の分類を示すデータを保存、送信、及び／又は表示することとを含んでいる。
【0075】
実施例２． 実施例１の方法において、自然言語処理モデルは深層フィードフォワードニューラルネットワークである。
【0076】
実施例３． 実施例２の方法において、深層フィードフォワードニューラルネットワークは丁度１つの大域最大プーリング層及び複数の密層を含んでいる。
【0077】
実施例４． 実施例３の方法において、深層フィードフォワードニューラルネットワークは丁度２つの密層を含んでいる。
【0078】
実施例５． 実施例１の方法において、自然言語処理モデルは少なくとも１つの双方向層を含んでいる。
【0079】
実施例６． 実施例５の方法において、自然言語処理モデルは長短期保存（ＬＳＴＭ）モデルによりある。
【0080】
実施例７． 実施例１～６のいずれかの方法は更に、自然言語処理モデルによりテキストデータを処理する前に、１つ以上のプロセッサによりテキストデータに前処理を施して、分類に使用しない単語及び／又は文字を除外することを含んでいる。
【0081】
実施例８． 実施例１～７のいずれかの方法において、複数の質問がテキストデータ内の複数の各々の単語列に対応しており、本方法が更に、自然言語処理モデルによりテキストデータを処理する前に、１つ以上のプロセッサにより、各々の単語列を各々の数列に変換することによりテキストデータに前処理を施すことを含んでいる。
【0082】
実施例９． 実施例８の方法において、本方法が更に、自然言語処理モデルによりテキストデータを処理する前に、１つ以上のプロセッサにより、各々の単語列を表す全てのベクトルが等しいシーケンス長を有するように、各々の単語列をパディングすることによりテキストデータに前処理を施すことを含んでいる。
【0083】
実施例１０． 実施例１～９のいずれかの方法において、本方法が、１つ以上のプロセッサにより、複数の質問の少なくとも１つのサブセットを１つ以上の分類を示す仕方で表示させることを含んでいる。
【0084】
実施例１１． 実施例１０の方法において、複数の質問の少なくともサブセットを１つ以上の分類を示す仕方で表示させることは、（ｉ）１つ以上の分類のうち質問に対応する分類と、（ｉｉ）ユーザーが選択したフィルタ設定とに基づいて、各質問を選択的に表示させるか又は表示させないことを含んでいる。
【0085】
実施例１２． 実施例１０の方法において、複数の質問の少なくともサブセットを１つ以上の分類を示す仕方で表示させることは、複数の質問のサブセットの各質問を、１つ以上の分類からの対応する分類に関連付けて表示させることを含んでいる。
【0086】
実施例１３． システムであって、１つ以上のプロセッサと、当該１つ以上のプロセッサにより実行されたならば、当該１つ以上のプロセッサに例１～１２のいずれかの方法を実行させる命令を保存する１つ以上のメモリとを含んでいる。
【0087】
実施例１４． 規制質問を処理する方法であって、当該方法は、１つ以上のプロセッサにより規制質問を表すテキストデータを取得することと、１つ以上のプロセッサにより規制質問に類似する１つ以上の文書を、テキストデータを自然言語処理モデルにより処理してデータベース内の１つ以上の文書を識別することに少なくとも部分的に識別することと、１つ以上のプロセッサにより１つ以上の文書を示すデータを保存、送信、及び／又は表示することとを含んでいる。
【0088】
実施例１５． 実施例１４の方法において、自然言語処理モデルはニューラルネットワークである。
【0089】
実施例１６． 実施例１４又は１５の方法において、自然言語処理モデルは双方向性である。
【0090】
実施例１７． 実施例１４～１６のいずれかの方法において、自然言語処理モデルは文脈化された埋め込みモデルである。
【0091】
実施例１８． 実施例１４～１７のいずれかの方法において、自然言語処理モデルによりテキストデータを処理してデータベース内の１つ以上のドキュメントを識別することは、エラスティック検索エンジンを用いてデータベースを検索することを含んでいる。
【0092】
実施例１９． 実施例１４～１８のいずれかの方法であって、自然言語処理モデルによりテキストデータを処理する前に、１つ以上のプロセッサにより、テキストデータに前処理を施して識別に使用しない単語及び／又は文字を除外することを更に含んでいる。
【0093】
実施例２０． 実施例１４～１９のいずれかの方法において、当該方法は更に、自然言語処理モデルによりテキストデータを処理する前に、１つ以上のプロセッサにより、テキストデータの単語列を数列に変換することにより、テキストデータに前処理を施すことを含んでいる。
【0094】
実施例２１． 実施例２０の方法において、当該方法は更に、自然言語処理モデルによりテキストデータを処理する前に、１つ以上のプロセッサにより、単語列を表すベクトルが所定のシーケンス長を有するように単語列をパディングすることによりテキストデータに前処理を施すことを含んでいる。
【0095】
実施例２２． システムであって、１つ以上のプロセッサと、当該１つ以上のプロセッサにより実行されたならば、当該１つ以上のプロセッサに例１４～２１のいずれかの方法を実行させる命令を保存する１つ以上のメモリとを含んでいる。
【0096】
実施例２３． 規制質問を処理する方法であって、当該方法は、１つ以上のプロセッサにより規制質問を表すテキストデータを取得することと、１つ以上のプロセッサにより規制質問に類似する１つ以上の文書を、第１の自然言語処理モデルによりテキストデータを処理してデータベース内の１つ以上の文書を識別することにより少なくとも部分的に識別することと、１つ以上のプロセッサにより規制質問に対する１つ以上の回答候補を、識別された１つ以上の文書を第２の自然言語処理モデルにより処理することにより少なくとも部分的に生成することと、１つ以上のプロセッサにより、規制質問に対する１つ以上の回答候補を示すデータを保存、送信、及び／又は表示することとを含んでいる。
【0097】
実施例２４． 実施例２３方法において、第１の自然言語処理モデル及び第２の自然言語処理モデルはニューラルネットワークである。
【0098】
実施例２５． 実施例２３又は２４の方法において、第１の自然言語処理モデルは双方向性である。
【0099】
実施例２６． 実施例２３～２５のいずれかの方法において、第２の自然言語処理モデルはＧＰＴ－２モデルである。
【0100】
実施例２７． 実施例２３～２６のいずれかの方法は更に、第１の自然言語処理モデルによりテキストデータを処理する前に、１つ以上のプロセッサによりテキストデータに前処理を施して識別に使用しない単語及び／又は文字を除外することを含んでいる。
【0101】
実施例２８． 実施例２３～２７のいずれかの方法において、当該方法は更に、第１の自然言語処理モデルによりテキストデータを処理する前に、１つ以上のプロセッサにより、テキストデータの単語列を数列に変換することによりテキストデータに前処理を施すことを含んでいる。
【0102】
実施例２９． 実施例２８の方法において、当該方法は更に、第１の自然言語処理モデルによりテキストデータを処理する前に、１つ以上のプロセッサにより、単語列を表すベクトルが所定のシーケンス長を有するように単語列をパディングすることによりテキストデータに前処理を施すことを含んでいる。
【0103】
実施例３０． 実施例２３～２９のいずれかの方法において、当該方法は更に、１つ以上のプロセッサにより、規制質問に対する１つ以上の回答候補の各々に関連付けられた信頼度スコアを判定することと、１つ以上のプロセッサにより、規制質問に対する１つ以上の回答候補の各々に関連付けられた信頼度スコアを示すデータを保存、送信、及び／又は表示することを含んでいる。
【0104】
実施例３１． 実施例２３～３０のいずれかの方法において、当該方法は更に、規制質問に対する１つ以上の回答候補の各々について、（ｉ）回答候補、（ｉｉ）１つ以上の文書のうち、回答候補が導出された文書の識別子、及び（ｉｉｉ）回答候補が導出された文書のテキストの一部を表示することを含んでいる。
【0105】
実施例３２． 実施例２３～３１のいずれかの方法において、当該方法は更に、１つ以上のプロセッサにより１つ以上の回答候補の有用性を示すユーザーフィードバックを受信することと、１つ以上のプロセッサによりユーザーフィードバックを用いて第１及び／又は第２の自然言語処理モデルを訓練することとを含んでいる。
【0106】
実施例３３． システムであって、１つ以上のプロセッサと、当該１つ以上のプロセッサにより実行されたならば、当該１つ以上のプロセッサに例２３～３２のいずれかの方法を実行させる命令を保存する１つ以上のメモリとを含んでいる。
【0107】
実施例３４． 規制質問を処理する方法であって、当該方法は、１つ以上のプロセッサにより規制質問を表すテキストデータを取得することと、１つ以上のプロセッサにより規制質問の要約を、テキストデータを自然言語処理モデルにより処理することにより少なくとも部分的に生成することと、１つ以上のプロセッサにより要約を示すデータを保存、送信、及び／又は表示することとを含んでいる。
【0108】
実施例３５． 実施例３４に記載の方法において、自然言語処理モデルはニューラルネットワークである。
【0109】
実施例３６． 実施例３５に記載の方法において、自然言語処理モデルは双方向性である。
【0110】
実施例３７． システムであって、１つ以上のプロセッサと、当該１つ以上のプロセッサにより実行されたならば、当該１つ以上のプロセッサに例３４～３６のいずれかの方法を実行させる命令を保存する１つ以上のメモリとを含んでいる。
【0111】
本開示の特定の実施形態は、様々なコンピュータ実装された動作を実行するコンピュータコードを有している非一時的コンピュータ可読記憶媒体に関する。「コンピュータ可読記憶媒体」等の用語は本明細書において、本明細書に記述する動作、方法、及び技術を実行する一連の命令又はコンピュータコードを保存又は符号化可能な任意の媒体を含めるべく用いられてよい。媒体及びコンピュータコードは、本開示の実施形態を目的として特別に設計及び構築されていても、又はコンピュータソフトウェア技術の当業者に公知且つ利用可能な種類のものであってもよい。コンピュータ可読記憶媒体の例として、ハードディスク、フロッピーディスク、磁気テープ等の磁気媒体、ＣＤ－ＲＯＭ、ホログラフィック装置等の光媒体、光ディスク等の光磁気媒体、ＡＳＩＣ、プログラム可能論理装置（「ＰＬＤ」）、及びＲＯＭ並びにＲＡＭ装置等、プログラムコードの保存及び実行用に特別に構成されたハードウェア装置が含まれるがこれらに限定されない。
【0112】
コンピュータコードの例として、コンパイラにより生成されるマシンコード、及びインタープリタ又はコンパイラを用いてコンピュータにより実行される高水準コードを含むファイルが含まれる。例えば、本開示の実施形態は、Ｊａｖａ、Ｃ＋＋、又は他のオブジェクト指向プログラミング言語及び開発ツールを用いて実装されてよい。コンピュータコードの追加的な例として、暗号化コード及び圧縮コードが含まれる。更に、本開示の実施形態は、コンピュータプログラム製品としてダウンロードされてよく、送信チャネルを介して遠隔コンピュータ（例えばサーバコンピュータ）から要求元コンピュータ（例えばクライアントコンピュータ又は別のサーバコンピュータ）に転送されていてよい。本開示の別の実施形態は、機械実行可能なソフトウェア命令を代替として、又はマシン実行可能なソフトウェア命令と組み合わせてハードワイヤード回路に実装されていてよい。
【0113】
本明細書で用いる単数形の用語「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈から別途明示されない限り複数の対象を含んでいてよい。
【0114】
本明細書で用いる用語「接続する」、「接続された」、及び「接続」は、動作的結合又は紐付けを指す（且つ図面に描かれた接続はこれらを代表している）。接続された要素は、例えば別の要素の組を介して互いに直接又は間接的に結合可能である。
【0115】
本明細書で用いる用語「ほぼ」、「実質的に」、「実質的な」、及び「約」は、僅かな差異を記述及び説明すべく用いられる。事象又は状況と共に用いられる場合、これらの用語は、事象又は状況が正確に生起する場合だけでなく、事象又は状況が近似的に生起する場合も指していてよい。例えば、数値と共に用いられた場合、これらの用語は当該数値の±１０％以下、例えば±５％以下、±４％以下、±３％以下、±２％以下、±１％以下、±０．５％以下、±０．１％以下、又は±０．０５％以下の変動範囲を指していてよい。例えば、２つの数値の差が当該数値の平均の±１０％以下、例えば±５％以下、±４％以下、±３％以下、±２％以下、±１％以下、±０．５％以下、±０．１％以下、又は±０．０５％以下であれば「実質的に」同一とみなすことができる。
【0116】
また、量、比率、及び他の数値が本明細書において範囲形式で示される場合がある。このような範囲形式は、便宜且つ簡潔のため用いられること理解すべきであり、且つある範囲の限界として明示的に指定された数値を含むだけでなく、あたかも各数値及び部分範囲が明示的に指定されているかの如く当該範囲内に含まれる全ての個々の数値又は部分範囲を含むことを柔軟に理解されたい。
【0117】
本開示について特定の実施形態を参照しながら記述及び図示してきたが、これらの記述及び図示は本開示を限定するものではない。当業者には、添付の請求項により定義される本開示の真の主旨及び範囲から逸脱することなく、様々な変更を加え得ること、及び等価物に代替され得ることが理解されよう。図示は必ずしも定縮尺に描かれていない場合がある。製造工程、公差及び／又は他の理由により、本開示における芸術的表現と実際の装置との間に差異が生じる場合がある。具体的に図示しない本開示の他の実施形態が存在する可能性がある。本明細書（請求項以外）及び図面は、限定的ではなく例示的であるとみなすべきである。特定の状況、材料、組成物、技術、又は処理を本開示の目的、主旨、及び範囲に適合させるべく変更が加えられてよい。このような変更は全て、本明細書に添付した請求項の範囲に含まれるものとする。本明細書に開示する技術は、特定の順序で実行される特定の動作を念頭に記述してきたが、これらの動作は、本開示の教示から逸脱することなく、等価な技術を形成するために組み合わされても、部分に分割されても、又は順序を入れ替えてもよいことが理解されよう。従って、本明細書に特に示されない限り、動作の順序及びグループ分けは本開示の制約とはならない。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】