(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024160863
(43)【公開日】2024-11-15
(54)【発明の名称】コンテンツ選定装置、及びプログラム
(51)【国際特許分類】
G06F 16/53 20190101AFI20241108BHJP
G06F 16/73 20190101ALI20241108BHJP
【FI】
G06F16/53
G06F16/73
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2023076334
(22)【出願日】2023-05-02
(71)【出願人】
【識別番号】515203631
【氏名又は名称】ユニファ株式会社
(74)【代理人】
【識別番号】100104776
【弁理士】
【氏名又は名称】佐野 弘
(74)【代理人】
【識別番号】100119194
【弁理士】
【氏名又は名称】石井 明夫
(72)【発明者】
【氏名】西川 具亨
【テーマコード(参考)】
5B175
【Fターム(参考)】
5B175DA02
5B175DA04
5B175FB01
5B175HB03
(57)【要約】
【課題】 自然言語モデルを用いて指定期間の事象に関する文章から当該指定期間に撮影されたコンテンツを選定することができる、コンテンツ選定装置、及びプログラムを提供する。
【解決手段】
コンテンツ選定装置が、機械学習により生成された自然言語モデルを用いて、指定期間の事象に関する1又は2以上の文章を要約した要約文を生成する要約文生成部と、機械学習により生成された自然言語モデルを用いて、1又は2以上の静止画、及び/又は、動画であるコンテンツD21の各々について当該コンテンツD21の内容を説明する説明文D22を生成する説明文生成部と、要約文D12の内容に類似する説明文D22を選定し、当該選定した説明文D22に対応するコンテンツD21を取得するコンテンツ選定部を備える。
【選択図】
図2
【特許請求の範囲】
【請求項1】
指定期間の事象に関する文章に基づいて、前記指定期間に撮影された静止画、及び/又は、動画であるコンテンツを選定するコンテンツ選定装置であって、
機械学習により生成された自然言語モデルを用いて、1又は2以上の前記文章を要約した要約文を生成する、要約文生成部と、
1又は2以上の前記コンテンツの各々について、機械学習により生成された自然言語モデルを用いて、前記コンテンツの内容を説明する説明文を生成する、説明文生成部と、
前記要約文の内容に類似する前記説明文を選定し、該選定した前記説明文に対応する前記コンテンツを取得する、コンテンツ選定部と、
を備えることを特徴とする、コンテンツ選定装置。
【請求項2】
前記コンテンツ選定装置は、
前記要約文生成部は、前記コンテンツを選定する対象に関する前記文章の前記要約文を生成し、
前記説明文生成部は、前記対象が撮影された前記コンテンツの各々について前記説明文を生成する
ことを特徴とする、請求項1記載のコンテンツ選定装置。
【請求項3】
前記対象が人物であることを特徴とする、請求項2記載のコンテンツ選定装置。
【請求項4】
前記要約文生成部は、前記1又は2以上の前記文章から前記コンテンツを選定する対象に関する前記文章を抽出し、該抽出した前記文章の前記要約文を生成する
ことを特徴とする、請求項1記載のコンテンツ選定装置。
【請求項5】
前記説明文生成部は、画像認識により前記1又は2以上の前記コンテンツから前記コンテンツを選定する対象が撮影された前記コンテンツを抽出し、該抽出した前記コンテンツのそれぞれについて前記説明文を説明する
ことを特徴とする、請求項1記載のコンテンツ選定装置。
【請求項6】
前記説明文生成部は、前記コンテンツの各々について生成された前記説明文から、前記コンテンツを選定する対象に関する前記説明文を抽出し、
前記コンテンツ選定部は、前記抽出された前記説明文から、前記要約文の内容に類似する前記説明文を選定する
ことを特徴とする、請求項1記載のコンテンツ選定装置。
【請求項7】
前記コンテンツ選定部は、前記要約文のベクトルを示す要約文ベクトルと、前記説明文のベクトルを示す説明文ベクトルのコサイン類似度に基づいて、前記説明文を選定する
ことを特徴とする、請求項1記載のコンテンツ選定装置。
【請求項8】
コンピュータを請求項1乃至7の何れか一つに記載のコンテンツ選定装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、自然言語モデルを用いて指定期間の事象に関する文章から当該指定期間に撮影されたコンテンツを選定できる、コンテンツ選定装置、及びプログラムに関する。
【背景技術】
【0002】
機械学習その他の方法により生成された学習モデルを用いて自然言語を処理する情報処理システムとして、例えば特許文献1の言語モデルを利用したデータ生成方法が知られている。特許文献1のデータ生成方法は、原本データを利用して言語モデルの入力文となるプロンプトを構成し、当該構成したプロンプトを言語モデルに入力して自然語を生成する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
昨今では前述の従来技術を含めた自然言語モデルに関する技術が飛躍的に発展している。例えば、大量のテキストデータを学習することによって生成される自然言語モデルは大規模言語モデルと呼称され、文章の生成や要約、画像のキャプショニング等に用いることが期待されている。
【0005】
一方で、大規模言語モデルを含めた自然言語モデルは、昨今になって急速に発展している技術であり、いかなる分野への活用が有効であるかが模索されている。このような状況において、自然言語モデルを有効に活用できる情報処理システムが求められていた。
【0006】
この発明は上記の問題に鑑みてなされたものであり、自然言語モデルを用いて指定期間の事象に関する文章から当該指定期間に撮影されたコンテンツを選定することができる、コンテンツ選定装置及びプログラムを提供することをその目的とするものである。
【課題を解決するための手段】
【0007】
かかる課題を解決するために、請求項1の発明に係るコンテンツ選定装置は、指定期間の事象に関する文章に基づいて、前記指定期間に撮影された静止画、及び/又は、動画であるコンテンツを選定するコンテンツ選定装置であって、機械学習により生成された自然言語モデルを用いて、1又は2以上の前記文章を要約した要約文を生成する、要約文生成部と、1又は2以上の前記コンテンツの各々について、機械学習により生成された自然言語モデルを用いて、前記コンテンツの内容を説明する説明文を生成する、説明文生成部と、前記要約文の内容に類似する前記説明文を選定し、該選定した前記説明文に対応する前記コンテンツを取得する、コンテンツ選定部と、を備えることを特徴とする。
【0008】
請求項2の発明は、請求項1の発明において、前記コンテンツ選定装置が、前記要約文生成部は、前記コンテンツを選定する対象に関する前記文章の前記要約文を生成し、前記説明文生成部は、前記対象が撮影された前記コンテンツの各々について前記説明文を生成することを特徴とする。
【0009】
請求項3の発明は、請求項2の発明において、前記対象が人物であることを特徴とする。
【0010】
請求項4の発明は、請求項1の発明において、前記要約文生成部は、前記1又は2以上の前記文章から前記コンテンツを選定する対象に関する前記文章を抽出し、該抽出した前記文章の前記要約文を生成することを特徴とする。
【0011】
請求項5の発明は、請求項1の発明において、前記説明文生成部は、画像認識により前記1又は2以上の前記コンテンツから前記コンテンツを選定する対象が撮影された前記コンテンツを抽出し、該抽出した前記コンテンツのそれぞれについて前記説明文を説明する
ことを特徴とする。
【0012】
請求項6の発明は、請求項1の発明において、前記説明文生成部は、前記コンテンツの各々について生成された前記説明文から、前記コンテンツを選定する対象に関する前記説明文を抽出し、前記コンテンツ選定部は、前記抽出された前記説明文から、前記要約文の内容に類似する前記説明文を選定することを特徴とする。
【0013】
請求項7の発明は、請求項1の発明において、前記コンテンツ選定部は、前記要約文のベクトルを示す要約文ベクトルと、前記説明文のベクトルを示す説明文ベクトルのコサイン類似度に基づいて、前記説明文を選定することを特徴とする。
【0014】
請求項8の発明は、コンピュータ読み取り可能なプログラムであって、コンピュータを請求項1乃至7の何れか一つに記載のコンテンツ選定装置として機能させることを特徴とする。
【発明の効果】
【0015】
本発明の構成によれば、コンテンツ選定装置が、自然言語モデルを用いて指定期間の事象に関する1又は2以上の文章を要約した要約文を生成し、自然言語モデルを用いて1又は2以上のコンテンツの各々について説明文を生成し、要約文の内容に類似する説明文を選定して、当該選定した説明文に対応するコンテンツを取得する。この構成により、自然言語モデルを用いて指定期間の事象に関する文章から当該指定期間のコンテンツを選定することができる。
【図面の簡単な説明】
【0016】
【
図1】本発明の実施の形態1に係るコンテンツ選定システム、及びコンテンツ選定装置の構成を概念的に示す図である。
【
図2】本発明の実施の形態1におけるコンテンツ選定の概要を示す図である。
【
図3】本発明の実施の形態1におけるコンテンツ選定の流れを示すフロー図である。
【
図4】本発明の実施の形態2におけるコンテンツ選定の概要を示す図である。
【発明を実施するための形態】
【0017】
[発明の実施の形態1]
以下、本発明の各実施の形態について、図面を参照して説明する。
図1は、本発明の実施の形態1に係るコンテンツ選定システム及びコンテンツ選定装置の構成を概念的に示す図である。
【0018】
[システムの用途]
例えば、
図1に示すように、コンテンツ選定システム1Aは、利用者201が利用者端末2を使用してコンテンツの作成や記録を行ったり、利用者202が利用者端末2を使用して記録されたコンテンツを取得したりするために用いられる。後述するが、この実施の形態1のコンテンツ選定システム1Aは、利用者201によって作成され記録されたコンテンツの中から、利用者202が取得を希望する可能性の高いコンテンツを自動的に選定し、利用者202に受領させるための構成を備える。
【0019】
この実施の形態1のコンテンツ選定システム1Aは、例えば保育園などの児童福祉施設や、幼稚園、小中学校等の教育機関等で、利用者202にコンテンツの販売を行ったり、利用者201,202間でコンテンツの授受を行うために用いられる。このコンテンツの授受は、対価を伴う売買でも、無償での譲渡でもよい。たとえば、コンテンツ選定システム1Aが保育園で用いられる場合、利用者201は保育園で勤務する保育士や保育園の経営者や管理者で、利用者202は保育園に子供を預ける父兄であることが想定される。ただし利用者201,202が上述の者以外でもよい。
【0020】
また、コンテンツ選定システム1Aは、利用者端末2を用いてコンテンツの販売やコンテンツの授受が行われるいかなる法人や社団や集団で用いられてもよい。例えば、企業、国や地方公共団体、学童野球や学童サッカーのチーム、スポーツや芸術や芸能の愛好者同士のコミュニティ、などで用いられてもよい。さらに、コンテンツ選定システム1Aは、上述の法人や社団や集団が有償や無償で貸与されるものでもよい。
【0021】
[コンテンツ]
この実施の形態1のコンテンツ選定システム1Aで用いられるコンテンツとは、たとえば、デジタル写真やデジタル動画やテキスト文章などの各種データである。すなわち、この実施の形態1におけるコンテンツとは、利用者端末2を用いる利用者202がネットワーク3を介して取得したり、利用者端末2を用いる利用者201,202同士がネットワーク3を介して授受したりできる各種データである。
【0022】
例えば、この実施の形態1のコンテンツ選定システム1Aが保育園で用いられる場合、コンテンツは、例えば静止画、及び/又は、動画である。例えばこのコンテンツは、利用者201としての保育士等が利用者端末2のカメラ等で撮影した園児の画像である。このコンテンツは主に特定の父兄である利用者202の子供である特定の園児が写った写真や動画であるが、利用者202の子供以外の園児や風景等が写った写真や動画でもよい。この写真や動画には、撮影場所や撮影日時のような画像の属性情報や、写真や動画を撮影した保育士等が画像上に書き込んだ文字や絵などが付加されていてもよい。
【0023】
なお、この実施の形態1のコンテンツは、利用者端末2を用いて取得や授受が可能であり、コンテンツ選定システム1Aを用いる法人や社団や集団の目的や性質、利用者201,202の用途等に適合するものならば、写真や動画以外のデータ、例えば各種文書を構成する文章のテキストデータや音声データなど、であってもよい。
【0024】
[文章]
この実施の形態1のコンテンツ選定システム1Aで用いられる文章とは、任意の意味内容を示す一又は複数の文、及び/又は、任意の意味内容を示す一又は複数の図形や記号等である。後述する通り、実施の形態1のコンテンツ選定システム1Aにおいて、文章はコンテンツ選定に用いる要約文を生成するために用いられる。
【0025】
例えば、コンテンツ選定システム1Aが保育園で用いられる場合、この文章には、利用者201である保育園の保育士と利用者202である園児の父兄とが交信する連絡帳に、保育士や父兄が記入した連絡用の文章が用いられる。また、利用者201である保育士が作成する保育園内の日誌や報告書等の文書中の文章や、利用者202である父兄が作成する私的な育児記録の文書中の文章等も該当する。これらの文章は保育園の園児に関連性の高い内容であり、園児の写真や動画を特定する際に有用である。なお、利用者201,202以外の者が作成した文章(例えばニュース記事やSNSでの個人の投稿文章等)をこの文章として用いてもよい。この文章は日本語、英語、フランス語など、どのような言語で構成されてもよいし、図形や絵等が含まれてもよい。文章が文字である場合、文章は主にテキストデータで構成されるが、紙に手書きされた文字や、イメージ化された文字を用いてもよい。また、文章の作成に音声データや映像データ等を用いてもよい。
【0026】
[システム構成]
図1に、この実施の形態1のコンテンツ選定システムと、コンテンツ選定装置のシステム構成図及び機能ブロック図を示す。
図1に示す、この実施の形態1のコンテンツ選定システム1Aは、この実施の形態1のコンテンツ選定装置1と、利用者端末2とを備え、それらがネットワーク3で交信可能に接続されている。
【0027】
[コンテンツ選定装置]
図1に示す、この実施の形態1のコンテンツ選定装置1は、サーバ用コンピュータを用いて構成されている。コンテンツ選定装置1は、指定期間の事象に関する文章に基づいて、当該指定期間に撮影された静止画、及び/又は、動画であるコンテンツを選定する。
図1に示すように、コンテンツ選定装置1は、要約文生成部11と、説明文生成部12と、コンテンツ選定部13と、コンテンツ選定データベース14を備える。
【0028】
要約文生成部11は、指定期間の事象に関する1又は2以上の文章を要約した要約文を生成する。実施の形態1の要約文生成部11は機械学習により生成された自然言語モデル11aを備え、当該自然言語モデル11aを用いて文章の要約文を生成する。なお、実施の形態1では、文章は後述する文章データベース4に記録されている。
【0029】
説明文生成部12は、指定期間の事象に関する1又は2以上のコンテンツの各々について、当該コンテンツの内容を説明する説明文を生成する。実施の形態1における説明文生成部12は機械学習により生成された自然言語モデル12aを備えており、当該自然言語モデル12aを用いて要約文を生成する。なお、実施の形態1では、コンテンツは後述するコンテンツデータベース5に記録されている。
【0030】
コンテンツ選定部13は、前述の説明文生成部12が生成した説明文の各々から、前述の要約文生成部11が生成した要約文と類似する説明文を選定し、当該選定した説明文に対応するコンテンツを取得する。
【0031】
実施の形態1のコンテンツ選定部13は、前述の要約文生成部11が生成した要約文のベクトルを示す要約文ベクトルを生成する要約文ベクトル生成部13aと、前述の説明文生成部12が生成した説明文の各々のベクトルを示す説明文ベクトルを生成する説明文ベクトル生成部13bと、要約文ベクトルと説明文ベクトルの各々の類似度を生成する類似度生成部13cと、生成した類似度に基づいて所定数の説明文を選定し、該選定した説明文に対応するコンテンツを取得する、コンテンツ取得部13dを備える。
【0032】
コンテンツ選定データベース14は、コンテンツ選定装置1の機能に必要な情報を管理するデータベースである。実施の形態1では、コンテンツ選定データベース14はコンテンツ選定装置1が備えるRDBMS(Relational Detabase Management System)として構成されている。コンテンツ選定データベース14には、園児の氏名や園児の属性(たとえば園児の生年月日、所属する組、担当保育士の氏名、父兄の氏名などの情報)を特定する情報などが記録されている。
【0033】
なお、コンテンツ選定装置1の機能に必要な情報をどのように管理するかは任意に選択してよい。たとえば、コンテンツ選定データベース14として、RDBMSに代えて、例えばコンテンツ選定装置1が備えるストレージ装置の所定の領域に、所定の形式でファイルを配置するようにしてもよい。また、実施の形態1では後述する文章データベース4及びコンテンツデータベース5を用いるが、当該データベースを用いてコンテンツ選定装置1の機能に必要な情報を管理するようにしてもよい。
【0034】
前述のように、実施の形態1では、要約文生成部11が自然言語モデル11aを備えており、当該自然言語モデル11aを用いて要約文を生成する。自然言語モデル11aは、要約を生成する対象、すなわち、指定期間の事象に関する1又は2以上の文章から、当該1又は2以上の文章を要約した要約文を生成する、機械学習によって生成された学習済みモデルである。自然言語モデル11aは、1又は2以上の文章から要約文を生成可能な周知の自然言語モデルを用いてよく、大量の教師データを用いて機械学習により生成された、いわゆる大規模言語モデルを用いてよい。
【0035】
なお、この実施の形態1の自然言語モデル11aとしては、非常に多いパラメータ数をもつ学習済みモデルを使うことが考えられる。
【0036】
具体的には、例えば下記(モデル例1)-(モデル例5)に例示するような学習済みモデルの何れかを、自然言語モデル11aに適用することが考えられる。
・(モデル例1)BERT (Bidirectional Encoder Representations from Transformers):入力文書全体を考慮しつつ、単語の文脈を学習し、文書のベクトル表現を得られるモデルである。
・(モデル例2)GPT (Generative Pre-trained Transformer):文書中の単語の前後の文脈を学習し、文書のベクトル表現を得ることができるモデルである。
・(モデル例3)XLNet (eXtreme Multi-task Learning with a Language Model):単語の位置情報を考慮し、文脈を学習することで、文書のベクトル表現を得られるモデルである。
・(モデル例4)RoBERTa (Robustly Optimized BERT Pretraining Approach): BERTの学習データの前処理を改良し、より大規模なデータセットで学習したモデルである。
・(モデル例5)T5 (Text-to-Text Transfer Transformer):テキストからテキストへの変換タスクを解決することに特化し、文書のベクトル表現を得ることもできるモデルである。
【0037】
なお、上記(モデル例1)-(モデル例5)以外のいかなる言語モデルが自然言語モデル11aとして用いられてもよい。また、要約文生成部11には、いわゆる大規模言語モデルに該当しない自然言語モデル11aが用いられてもよい。
【0038】
なお、実施の形態1では要約文生成部11が自然言語モデル11aを備えるように構成しているが、自然言語モデル11aはコンテンツ選定装置1とは異なるコンピュータ又はコンピュータ群によって構成されていてもよい。例えば、コンテンツ選定装置1とは異なるコンピュータによって構成された情報処理システムにおいて自然言語モデルによって自然言語を処理する機能が提供されている場合に、当該情報処理システムの機能をもって自然言語モデル11aとしてもよい。また例えば、当該情報処理システムとのインタフェース、すなわち、当該情報処理システムに要約文の生成を要求し、処理の結果である要約文を当該情報処理システムから受領する機能をもって自然言語モデル11aとしてもよい。
【0039】
また、実施の形態1では、説明文生成部12が自然言語モデル12aを備えている。自然言語モデル12aは、画像及び/又は動画であるコンテンツに基づいて、当該コンテンツの内容を示す説明文を生成する、機械学習により生成された学習済みモデルであり、コンテンツの具体的な構成に応じて自然言語モデル12aを構成してよい。
【0040】
また、実施の形態1で用いる自然言語モデル11a、12aは、一部又は全部を共通の自然言語モデルによって構成してよく、例えば、一の自然言語モデルを、要約文生成部11が用いる自然言語モデル11a及び説明文生成部12が用いる自然言語モデル12aとして用いるようにしてもよい。そして、説明文生成部12が用いる自然言語モデル12aとして、前述の(モデル例1)-(モデル例5)に例示したモデルの何れかを用いることもできる。また、自然言語モデル12aも、上述の自然言語モデル11aと同様に、いかなる言語モデルを適用することもできる。
【0041】
また、実施の形態1では、前述のように要約文と説明文についてベクトルを生成して類似度を判定する構成である。しかし、言語の差に関わらず同一の内容から同一のベクトルが生成できる場合には、例えば、要約文生成部11の自然言語モデル11aは日本語の文章から要約文を生成し、一方で説明文生成部12の自然言語モデル12aはコンテンツの説明文を英語で生成する等、要約文と説明文の言語が異なる構成であってもよい(後述のステップS22の説明参照)。或いは、要約文と説明文の言語が異なる場合に説明文を要約文の言語に翻訳してから類似を判定するように構成してもよい。
【0042】
実施の形態1において、コンテンツ選定装置1は周知のサーバ用コンピュータを用いて構成されている。サーバ用コンピュータのHDD(Hard Disk Drive)、SSD(Solid State Drive)その他のストレージ装置にはサーバ用コンピュータをコンテンツ選定装置1として機能させるプログラムが予め記憶されており、当該プログラムをサーバ用コンピュータのメモリにロードしてCPU(中央演算装置)が実行することにより、サーバ用コンピュータをコンテンツ選定装置1として機能させる。なお、コンテンツ選定装置1のハードウェア構成は任意に変更してよく、例えば、コンテンツ選定装置1を2台以上のコンピュータを用いて構成するようにしてもよい。
【0043】
文章データベース4は、前述の文章を管理するデータベースである。実施の形態1では、文章データベース4は日誌、報告書、連絡帳その他の文章に関するデータを管理するRDBMSである。なお、文章データベース4は、コンテンツ選定装置1専用のデータベースであってもよいし、或いは他の情報処理システムの一部又は全部を前述のネットワーク3を介してコンテンツ選定装置1と通信可能に接続してもよい。
【0044】
コンテンツデータベース5は、前述のコンテンツを管理するデータベースである。実施の形態1におけるコンテンツデータベース5は、前述の文章データベース4と同様にRDBMSとして構成されており、コンテンツ選定装置1専用のデータベースであってもよいし、或いは他の情報処理システムの一部又は全部を前述のネットワーク3を介してコンテンツ選定装置1と通信可能に接続してもよい。
【0045】
[利用者端末とネットワーク]
コンテンツ選定装置1を利用する利用者201,202は、コンテンツ選定装置1とネットワーク3を介して通信可能に接続された利用者端末2を用いる。利用者端末2は、周知のパーソナルコンピュータやスマートフォン、タブレット型コンピュータその他のコンピュータ等であり、コンテンツ選定装置1との間で文章やコンテンツを送受信する機能を有する。利用者端末2は、保育園の園児の写真や動画等、コンテンツを撮影するカメラ機能を備えることが望ましいが、同機能がなくてもよい。
【0046】
図1には図の簡略化のために1つの利用者端末2のみが記載されている。しかし、コンテンツ選定システム1Aを実際に実施する際は、利用者端末2が複数存在してもよい。具体的には、個々の利用者201や個々の利用者202が、それぞれ所持又は管理する1又は複数のコンピュータ端末や携帯情報端末を利用者端末2として使用してもよい。
【0047】
ネットワーク3は、コンテンツ選定装置1と利用者端末2を通信可能に接続する計算機ネットワークである。ネットワーク3は周知の計算機ネットワークを用いてよく、例えば、いわゆるインターネットのような広域ネットワークを用いてもよいし、LAN(Local Area Network)を用いてもよいし、広域ネットワーク上の構築したVPN(Vertual Private Network)を用いてもよい。ネットワーク3は、有線ネットワーク、無線ネットワークのどちらを用いてもよいし、有線ネットワークと無線ネットワークを組み合わせて構成してもよい。
【0048】
[処理の内容]
次いで、実施の形態1におけるコンテンツ選定の処理の流れについて説明する。
図2は、実施の形態1におけるコンテンツ選定の概要を示す図であり、
図3は、実施の形態1におけるコンテンツ選定の流れを示すフロー図である。
【0049】
前述のように、実施の形態1におけるコンテンツ選定装置1は、指定期間の事象に関する文章に基づいて、当該指定期間に撮影されたコンテンツを選定する装置である。コンテンツ選定装置1によるコンテンツ選定は、
図2及び
図3で示すように、要約文D12の生成と(ステップS1参照)、説明文D22の生成と(ステップS2参照)、コンテンツD21の選定(ステップS3参照)の3行程によって行われる。
【0050】
なお、ここでの指定期間とは、主としてコンテンツ選定に用いられる期間である。
【0051】
たとえば、コンテンツ選定システム1Aが保育園で用いられる場合を考える。そして、特定の期間、たとえば令和5年度(2023年4月1日~2024年3月31日)の保育園での園児の日常や各種イベントの状況などの写真や動画をコンテンツとして利用者202に提供する場合を考える。この場合は、コンテンツ選定の対象期間である令和5年度が指定期間として設定される。この指定期間の設定は、コンテンツ選定部13が自動的に行ってもよいし、利用者201等が利用者端末2を用いて手動操作で行ってもよい。
【0052】
ステップS1において、コンテンツ選定装置1は、要約文生成部11により指定期間の事象に関する文章D11から要約文D12を生成する。実施の形態1におけるコンテンツ選定装置1では、要約文生成部11が、指定期間の事象に関する1又は2以上の文章D11を取得し(ステップS11参照)、次いで、取得した文章D11の要約文D12を生成する(ステップS12参照)。
【0053】
文章D11は、指定期間の事象に関する文章であり、当該指定期間の事象について自然言語によって記載された文章である。文章D11は、例えば、日誌や報告書、連絡帳その他文章をもって文章D11としてよい。
【0054】
ステップS11において、要約文生成部11は、指定期間の事象に関する文章D11を取得する。実施の形態1では、文章D11は前述の文章データベース4で管理されており、ステップS11では指定期間の始期及び終期を条件として文章データベース4を検索し、該当する、すなわち指定期間の事象に関する1又は2以上の文章D11を取得する。
【0055】
なお、ステップS11におけて、要約文生成部11における文章D11の取得の方法は、任意に選択されてよい。例えば、ステップS11においては、文章データベース4を用いず、利用者の操作により指定期間の事象に関する1又は2以上の文章D11を利用者端末2からコンテンツ選定装置1に送信するようにしてもよい。
【0056】
この場合、要約文生成部11は、当該送信された文章D11を受信する。この場合、要約文生成部11が受信した1又は2以上の文章D11について、最も早いタイミングの事象の日時を始期、最も遅いタイミングの事象の日時を終期とする期間が指定されたものとして、以降の処理が行われるように構成されてもよい。
【0057】
また、要約文生成部11が取得する文章D11の何れの情報をもって指定期間に関する文章D11であると判定するかについても任意に選択されてよい。例えば文章D11が日誌である場合には当該日誌の作成日が指定期間に属するか否かによって判定するようにしてよい。また例えば、文章D11が特定の日時に言及している場合に、当該言及した日時が指定期間に属するか否かによって判定するようにしてもよい。
【0058】
また、ステップS11で要約文生成部11が取得する1又は2以上の文章D11の記録方式や記録媒体は任意に選択されてよい。実施の形態1では文章データベース4を用いているが、例えば、コンテンツ選定装置1その他のコンピュータのストレージ装置の所定の領域に、所定の文字コード及び所定の符号化方式を用いたテキストファイルを配置するようにしてもよい。
【0059】
なお、ステップS11で要約文生成部11が取得する文章D11は、例えば手書きの紙媒体や当該紙媒体を撮影した画像であってもよいし、音声又は音声を含む動画であってもよい。この場合、例えば、利用者が利用者端末2を用いて紙媒体その他の形式の文章D11をテキスト形式に変換してコンテンツ選定装置1に送信するように構成してもよい。
【0060】
また、コンテンツ選定装置1特定の構成たとえば要約文生成部11が、画像中の文字を認識してテキスト形式に変換する文字認識部や、音声又は音声を含む動画から音声認識によりテキスト形式に変換する音声認識部を備えていてもよい。そして、この文字認識部や音声認識部の処理により、要約文生成部11が、テキスト、画像、音声、動画その他の種々の形式のデータをステップS11により文章D11として取得可能に構成してもよい。
【0061】
また、ステップS11で取得する文章D11が、ステップS12で要約文の生成に用いる自然言語モデル11aが対応する言語以外の言語で記載されている場合に、ステップS11において、自然言語モデル11aが扱える言語に翻訳するようにしてもよい。
【0062】
ステップS11において指定期間の事象に関する1又は2以上の文章D11が取得されると、コンテンツ選定装置1の要約文生成部11により、次いで、当該1又は2以上の文章D11を要約した要約文D12を生成する(ステップS12参照)。前述のように、実施の形態1における要約文生成部11は自然言語モデル11aを用いて、ステップS11で取得した1又は2以上の文章D11から、当該1又は2以上の文章D11の要約を示す要約文D12を生成する。
【0063】
ステップS12で生成される要約文D12は、例えば単一の文によって構成されていてもよいし、2以上の文によって構成されていてもよい。実施の形態1では、要約文D12は、指定期間、及び、当該要約文D12によって要約される1又は2以上の文章D11を特定する情報と紐づけて、コンテンツ選定装置1のコンテンツ選定データベース14に記録される。
【0064】
なお、実施の形態1では、ステップS1の処理が、指定期間の事象に関する1又は2以上の文章D11を取得するステップS11と、当該ステップS11が取得した文章D11を要約するステップS12により構成されているが、1又は2以上の文章D11に基づいてどのように要約文D12を生成するかは前述の他、周知の方法を任意に選択してよい。例えば、ステップS11では指定期間に属するか否かの判定を行わずに文章D11を取得し、ステップS12の要約文生成において、取得した文章D11から指定期間の事象について要約文D12を生成するように構成してもよい。
【0065】
ステップS2では、コンテンツ選定装置1の説明文生成部12により、1又は2以上のコンテンツD21の各々について、当該コンテンツの内容を示す説明文D22を生成する。実施の形態1におけるコンテンツ選定装置1では、説明文生成部12が、1又は2以上のコンテンツD21を取得し(ステップS21参照)、次いで、取得したコンテンツD21の各々について説明文D22を生成する(ステップS22参照)。
【0066】
ステップS21で取得されるコンテンツD21は、前述のように静止画、及び/又は、動画である。実施の形態1では前述のようにコンテンツデータベース5によってコンテンツD21が管理されており、ステップS21では、当該コンテンツデータベース5からコンテンツD21を取得する。なお、ステップS21におけるコンテンツD21の取得方法は任意に変更してよい。例えば、利用者が利用者端末2を操作して、コンテンツD21をコンテンツ選定装置1に送信し、ステップS11では当該送信されたコンテンツD21を受信する処理として構成するようにしてもよい。
【0067】
実施の形態1における説明文生成部12は、ステップS21によって取得したコンテンツD21の各々について、自然言語モデル12aを用いて説明文D22を生成する(ステップS22参照)。実施の形態1において、ステップS22で生成される説明文D22はコンテンツD21の内容を単一の文によって表すデータである。ただし、説明文D22の構成は任意に変更してよく、例えば2以上の文から説明文D22を構成するようにしてよい。
【0068】
また、ステップS22において、説明文生成部12は、説明文D22の言語、記録方式その他についても任意に選択してよい。例えば、後述する説明文ベクトルが、言語によらず説明文D22の内容に応じて同一又は非常に近似したベクトルを生成できる場合には、説明文生成部12は、説明文D22の言語を、要約文D12の言語が異なる構成としてもよい。
【0069】
ここでの言語が異なる構成とは、たとえば英語の要約文D12を日本語の説明文D22にする、日本語の漢字の要約文S12をひらがなやカタカナの説明文D22とする、などが考えられる。また、言語によりベクトルに差異が生じる場合は、説明文生成部12は、要約文D12と異なる言語で説明文D22を生成した後に、当該説明文D22を要約文D12と同一の言語に翻訳するように構成してもよい。
【0070】
実施の形態1では、生成した説明文D22は、当該説明文D22に対応するコンテンツD21、すなわち、当該説明文D22の生成元となるコンテンツD21であり当該説明文D22によって内容が説明されるコンテンツD21を特定する情報と紐づけて、コンテンツ選定装置1のコンテンツ選定データベース14に記録される。
【0071】
なお、実施の形態1におけるコンテンツ選定では、要約文生成ステップS1の要約文生成の処理を前工程、ステップS2の説明文生成の処理を後工程としているが、当該行程の先後関係は任意に変更してよい。すなわち、ステップS2の説明文生成の処理の後にステップS1の要約文生成の処理を実行させてもよい。また、ステップS1の要約文生成の処理とステップS2の説明文生成の処理とを並列して実行させてもよい。
【0072】
また、実施の形態1におけるコンテンツ選定では、ステップS2の説明文生成の処理を、例えば日次や週次その他の所定期間ごとに自動的に実行されるように構成してもよい。この場合、ステップS21で、コンテンツデータベース5から説明文D22が生成されていないコンテンツD21を取得して、ステップS22が生成した説明文D22をコンテンツD21と紐づけてコンテンツ選定データベース14に記録するように構成してもよい。
【0073】
ステップS1により要約文D12を生成し、ステップS2により説明文D22を生成すると、コンテンツ選定装置1は、次いで、コンテンツ選定部13によるコンテンツD21の選定を行う(ステップS3参照)。実施の形態1におけるステップS3は、要約文ベクトルの生成(ステップS31参照)、説明文ベクトルの生成(ステップS32参照)、類似度の生成(ステップS33参照)、説明文の選定(ステップS34参照)、コンテンツの取得(ステップS35参照)から構成されている。
【0074】
ステップS31では、要約文ベクトル生成部13aが、前述のステップS1により要約文生成部11が生成した要約文D12について、当該要約文D12のベクトルを示す要約文ベクトルを生成する。要約文D12のベクトルを生成する方法は周知の文章をベクトル化する方法を用いてよい。例えば、要約文D12に含まれる単語の数や出現頻度を特徴量としてベクトル化してもよい。或いは、要約文D12に含まれる単語の一部又は全部をベクトル空間にマッピングして、当該ベクトル化された単語から成る要約文D12のベクトルを求めてもよい。
【0075】
要約文ベクトルは、当該要約文ベクトルの生成元となる要約文D12を特定する情報と紐づけてコンテンツ選定装置1のコンテンツ選定データベース14に記録される。
【0076】
ステップS32では、説明文ベクトル生成部13bが、前述のステップS2により説明文生成部12が生成した説明文D22の各々について、当該説明文D22の各々のベクトルを示す説明文ベクトルを生成する。説明文D22のベクトルを生成する方法は、ステップS31で要約文D12をベクトル化した方法と同一の方法や、要約文ベクトルとの類似性を判定可能なベクトルを生成できる周知のベクトル化方法を用いられる。説明文ベクトルは、当該説明文ベクトルの生成元となる説明文D22を特定する情報と紐づけてコンテンツ選定装置1のコンテンツ選定データベース14に記録される。
【0077】
要約文D12のベクトルを示す要約文ベクトルと、説明文D22のベクトルを示す説明文ベクトルが生成されると、次いで、要約文ベクトルと説明文ベクトルの各々の類似度を生成する(ステップS33参照)。
【0078】
類似度を生成する方法は周知の方法を任意に用いて良いが、実施の形態1では要約文ベクトルと説明文ベクトルがなす角のコサイン値をコサイン類似度として算出し、類似度としている。実施の形態1では類似度としてコサイン類似度を用いており、要約文ベクトルと説明文ベクトルの内積をノルムすなわち要約文ベクトルと説明文ベクトルの大きさで割ることにより、類似度を-1~1の範囲に正規化した値として生成する。生成した類似度は、当該類似度の生成元となる要約文ベクトル及び説明文ベクトルをそれぞれ特定する情報と紐づけて、コンテンツ選定装置1のコンテンツ選定データベース14に記録される。
【0079】
なお、この実施の形態1では、要約文ベクトルや説明文ベクトルを、下記(手法例1)-(手法例4)に例示するモデルや方法に基づいて得ることができる。
・(手法例1)Bag-of-words (BoW) モデル:文書中の単語を数えて、それらを特徴量としてベクトル化する。
・(手法例2)TF-IDF:BoW モデルの改良版で、単語の出現頻度に加えて、文書集合全体での単語の出現頻度を考慮することで、重要度を判断する。
・(手法例3)Word2Vec:ニューラルネットワークを用いた手法で、単語をベクトル空間にマッピングすることで、単語の意味を捉えたベクトル表現を得る。
・(手法例4)Doc2Vec:Word2Vec を拡張し、文書全体をベクトル表現に変換する。
【0080】
説明文ベクトルの各々について要約文ベクトルとの類似度を生成すると、次いで、コンテンツ選定装置1は当該類似度により要約文D12と類似する所定数の説明文D22を選定し(ステップS34参照)、当該選定した説明文D22に対応する、すなわち、コンテンツ選定装置1は、説明文D22の生成元であり、説明文D22により内容が説明されるコンテンツD21を取得する(ステップS34参照)。
【0081】
ステップS34における説明文D22の選定の方法は任意に選択してよいが、実施の形態1では、前述のとおり類似度として-1~1の範囲に正規化されたコサイン類似度が生成されており、当該コサイン類似度が1に近い順、すなわち、類似度が高い順に所定数の説明文D22を選定する。
【0082】
実施の形態1では、前述のように、説明文D22は当該説明文D22に対応するコンテンツD21を特定する情報と紐づけてコンテンツ選定データベース14に記録されており、選定した説明文D22に紐づけられた情報を用いて、当該説明文D22に対応する、すなわち、当該説明文D22の生成元であり、当該説明文D22により内容が説明されるコンテンツD21を取得する。
【0083】
実施の形態1の説明は以上である。実施の形態1では、要約文生成部11が自然言語モデル11aを用いて1又は2以上の文章D11を要約した要約文D12を生成し、説明文生成部12が自然言語モデル12aを用いて1又は2以上のコンテンツD21の各々について説明文D22を生成し、コンテンツ選定部13が要約文D12と類似する説明文D22を選定し、当該選定した説明文D22に対応するコンテンツD21を取得する。
【0084】
実施の形態1では、この構成により、自然言語モデルを活用してコンテンツを選定することができる。実施の形態1におけるコンテンツ選定装置1は、例えば、学校その他の組織におけるクラスのアルバムを作成する場合において、月ごとや学期ごとの写真を選定する用途で使用することができる。
【0085】
[発明の実施の形態2]
以下、本発明の実施の形態2を説明する。実施の形態2では、実施の形態1のコンテンツの選定に加え、人物その他の対象への画像認識を用いてコンテンツを選定する。
【0086】
[基本構成]
この実施の形態2のコンテンツ選定システムは、
図1に示すコンテンツ選定システム1Aと基本的な構成は同じである。ただし、実施の形態2において、コンテンツ選定システム1Aを構成するコンテンツ選定装置1は、要約文生成部11や説明文生成部12が画像認識機能を有する。実施の形態2のコンテンツ選定装置1は、要約文D12や説明文D22を生成する際に画像認識の結果を用いることができる。
【0087】
たとえば、この実施の形態2のコンテンツ選定システム1Aが保育園で用いられており、特定の対象、例えば園児の画像を中心としたコンテンツを選定する場合を考える。ここで、実施の形態2のコンテンツ選定装置1の要約文生成部11や説明文生成部12が写真や動画に写った園児の顔(顔の特定の部位や顔以外の身体的特徴でもよい。)を認識する機能を有する。また、要約文生成部11や説明文生成部12は、顔を認識した園児の氏名を特定する機能を有する。認識した園児の顔から園児の氏名や園児の属性(たとえば園児の生年月日、所属する組、担当保育士の氏名、父兄の氏名などの情報)を特定する情報は、コンテンツ選定データベース14に記録されている。
【0088】
要約文生成部11や説明文生成部12は、写真や動画に写った園児の顔からその園児の氏名を特定し、その園児の氏名や園児の属性等の情報を用いて、要約文D12や説明文D22を生成できる。
【0089】
[処理手順]
上述の、コンテンツ選定システム1Aが保育園で用いられる事例を用いて、この実施の形態2のコンテンツ選定システム1Aの処理手順を説明する。
【0090】
図4は、実施の形態2におけるコンテンツ選定の概要を示す図である。
図4で示すように、実施の形態2では、指定期間の事象に関する1又は2以上の文章D11、及び、コンテンツD21を、対象D3で絞り込む。
【0091】
対象D3は、例えば保育園で保育されている個々の園児の顔である。要約文生成部11や説明文生成部12は、画像認識機能によって個々の園児の顔を認識し、対象D3と設定する。要約文生成部11や説明文生成部12は、対象D3として設定された園児の顔画像を認識すると、認識結果を用いてその園児の氏名を特定する。
【0092】
図4に示すように、要約文生成部11は、文章D11全体の中から、対象D3である園児の氏名(
図4では氏名A)を含む文章D11や対象D3である園児に関する連絡帳や日誌を抽出し、抽出した文章D11から要約文D12を生成できる。
図4に示すように、説明文生成部12は、コンテンツD21全体の中から、対象D3である園児の顔や姿が写った写真や動画のコンテンツD21を抽出し、抽出したコンテンツD21から説明文D22を生成できる。
【0093】
なお、この実施の形態2において、要約文生成部11や説明文生成部12が用いる対象D3は、園児の顔以外、例えば、特定の保育士や父兄等の園児以外の人物、特定の建物や特定の場所や特定のイベント等でもよい。例えば、前述の実施の形態1において、コンテンツ選定装置1を使用して、学校その他のクラスのアルバムに使用する写真を選定できる旨説明したが、実施の形態2では、さらに、特定のクラスのアルバムにおいて、生徒や教師その他の人物の写った写真を選定でき、また、修学旅行や学園祭、体育祭その他のイベントや当該イベントで訪問した場所、建物等の写った写真を選定できる。
【0094】
なお、対象D3を指定する方法は任意の方法を選択してよく、例えば対象D3が人物である場合に、氏名及び/又は顔写真を用いて指定してもよいし、或いは、当該人物に関する情報がデータベースによって管理されている場合に、当該データベースにおいて当該人物を特定するIDその他の情報を用いて指定してもよい。これらの指定は、要約文生成部11や説明文生成部12の自動処理によるものでもよいし、利用者201,202の利用者端末2を用いた手動操作によるものでもよい。
【0095】
実施の形態2では、要約文D12の生成に際して、先ず、指定期間の事象に関する1又は2以上の文章D11から対象D3に関する1又は2以上の文章D11を抽出し、次いで、当該抽出した1又は2以上の文章D11の要約文D12を生成する。
【0096】
実施の形態2において、文章D11の抽出の方法は周知の方法を任意に選択してよい。たとえば、文章データベース4で管理される文章D11を、指定期間に加えて対象D3を条件として検索するようにしてもよい。またたとえば、実施の形態1と同様に指定期間によって文章D11を取得した後に、対象D3による抽出を行うようにしてもよい。この場合、文章D11に対象D3を示す語が含まれているかによって抽出するようにしてもよい。またたとえば、対象D3を示す語のベクトルを生成して、文章D11のベクトルとの類似度が所定以上の類似性を示す場合に当該文章D11を抽出するようにしてもよい。
【0097】
なお、実施の形態2において、対象D3を用いて抽出した文章D11から要約文D12を生成する方法は、前述の実施の形態1と同様である。
【0098】
また、実施の形態2では、コンテンツD21の説明文D22の生成に際して、先ず、1又は2以上のコンテンツD21から画像認識により対象D3が撮影された1又は2以上のコンテンツD21を抽出し、次いで、当該抽出した1又は2以上のコンテンツD21の各々について説明文D22を生成する。
【0099】
実施の形態2における、画像認識の具体的な方法は、周知の画像処理技術を任意に選択してよい。また、実施の形態2において、抽出したコンテンツD21から説明文D22を生成する方法は、前述の実施の形態1と同様である。なお、説明文D22の生成における抽出の方法は任意に選択してよい。
【0100】
実施の形態2では前述のように画像認識による抽出を行っているが、例えば説明文D22の生成までは実施の形態1と同様に行い、生成した説明文D22から対象D3に関する説明文D22を抽出して、当該抽出された説明文D22の各々について以降の処理を実行するようにしてもよい。
【0101】
例えば対象D3の画像等が存在せず、氏名や名称その他の文字情報によってのみ指定可能な場合には、説明文D22を生成した後に、対象D3に関する説明文D22を抽出するように構成することで、対象D3による絞り込みを行うことができる。
【0102】
実施の形態2では、要約文D12の生成、及び、説明文D22の生成を行った後は、実施の形態1と同様の行程によってコンテンツD21を選定する。すなわち、要約文D12のベクトルを示す要約文ベクトルと、説明文D22のベクトルを示す説明文ベクトルを生成した後に、要約文ベクトルと説明文ベクトルの類似度をコサイン類似度として生成し、当該コサイン類似度が1に近い順、すなわち要約文D12と説明文D22の類似度が高い順に、所定数の説明文D22を選定する。
【0103】
本発明の実施の形態2の説明は以上である。実施の形態2では、指定期間に加えて、さらに人物や場所、イベントその他の対象D3によりコンテンツD21を選定できる。
【0104】
なお、本発明の実施形態は発明の実施の形態1及び2のみには限られない。例えば、実施の形態2では要約文D12及び説明文D22の双方について、前述の対象D3による絞り込みを行っているが、要約文ベクトルの生成に際して、要約文D12における対象D3への言及が生成されるベクトルの値に十分に反映されている場合には、要約文D12と類似性が高い説明文D22及びコンテンツD21も、対象D3と関連している可能性が高いことが推測される。この場合、対象D3による抽出は要約文D12の生成のみで行い、説明文D22の生成、及び、以降の選定処理では実施の形態1と同様の構成とし、要約文D12との類似性をもって、コンテンツD21を対象D3と関連するコンテンツとして選定してもよい。
【0105】
その他の具体的な構成も本実施の形態に限られるものではなく、本発明の趣旨を逸脱しない範囲において様々な変更が可能である。
【符号の説明】
【0106】
1 コンテンツ選定装置
2 利用者端末
3 ネットワーク
4 文章データベース
5 コンテンツデータベース
11 要約文生成部
11a 自然言語モデル
12 説明文生成部
12a 自然言語モデル
13 コンテンツ選定部
13a 要約文ベクトル生成部
13b 説明文ベクトル生成部
13c 類似度生成部
13d コンテンツ取得部
14 コンテンツ選定データベース