特許 6986943 コンテンツ評価装置、コンテンツ配信システム、コンテンツ評価方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6986943

(24)【登録日】2021年12月2日

(45)【発行日】2021年12月22日

(54)【発明の名称】コンテンツ評価装置、コンテンツ配信システム、コンテンツ評価方法、およびプログラム

(51)【国際特許分類】

   G06F 13/00 20060101AFI20211213BHJP

   G06Q 30/06 20120101ALI20211213BHJP

   H04N 21/258 20110101ALI20211213BHJP

【ＦＩ】

   G06F13/00 540C

   G06Q30/06 300

   H04N21/258

【請求項の数】7

【全頁数】17

(21)【出願番号】特願2017-233200(P2017-233200)

(22)【出願日】2017年12月5日

(65)【公開番号】特開2019-101842(P2019-101842A)

(43)【公開日】2019年6月24日

【審査請求日】2020年3月6日

(73)【特許権者】

【識別番号】319013263

【氏名又は名称】ヤフー株式会社

(74)【代理人】

【識別番号】100149548

【弁理士】

【氏名又は名称】松沼 泰史

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100181124

【弁理士】

【氏名又は名称】沖田 壮男

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】大倉 俊平

(72)【発明者】

【氏名】湯浅 翔悟

(72)【発明者】

【氏名】山本 悠

(72)【発明者】

【氏名】星野 真吾

(72)【発明者】

【氏名】宇野 秀平

【審査官】 今川 悟

(56)【参考文献】

【文献】 特開２０１５−２０７３２１（ＪＰ，Ａ）

【文献】 特開２００９−１５２６８３（ＪＰ，Ａ）

【文献】 特開２０１４−１２００１２（ＪＰ，Ａ）

【文献】 特開２００７−２１３５８６（ＪＰ，Ａ）

【文献】 特開２０１０−２０５２７９（ＪＰ，Ａ）

【文献】 特開２００２−０１５２０７（ＪＰ，Ａ）

【文献】 特開２０１５−０９９２６５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０２７９０４３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１１／０１９７１３０（ＵＳ，Ａ１）

【文献】 中国特許出願公開第１０８９２１６２４（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １３／００

Ｇ０６Ｑ ３０／０６

Ｈ０４Ｎ ２１／２５８

(57)【特許請求の範囲】

【請求項1】

所定規則に基づいて、ネットワークを介して利用者に配信されるコンテンツを評価した第１評価結果を取得する取得部と、
前記取得部により取得された前記第１評価結果および前記コンテンツを利用者が視聴すると予測される時間である予測滞在時間に基づく第２評価結果を、前記コンテンツを配信する際の指標として導出する評価部と、
を備え、
前記評価部は、前記コンテンツに含まれる画像の位置に基づいて、前記予測滞在時間を導出する、
コンテンツ評価装置。

【請求項2】

前記評価部は、前記コンテンツに含まれる文字数に基づいて、前記予測滞在時間を導出する、
請求項１記載のコンテンツ評価装置。

【請求項3】

前記所定規則は、利用者の属性に依存しない規則である、
請求項１または２記載のコンテンツ評価装置。

【請求項4】

利用者の属性に依存する規則によってコンテンツを評価する利用者ごとコンテンツ評価部を更に備え、
前記第２評価結果と、前記利用者ごとコンテンツ評価部の評価結果とを前記コンテンツを配信するための指標として出力する、
請求項３記載のコンテンツ評価装置。

【請求項5】

請求項１から４のうちいずれか１項記載のコンテンツ評価装置と、
前記コンテンツ評価装置の評価結果に基づいてコンテンツを選択する選択部と、
前記選択部により選択されたコンテンツを利用者の端末装置に配信する配信部と、
を備えるコンテンツ配信システム。

【請求項6】

コンピュータが、
所定規則に基づいて、ネットワークを介して利用者に配信されるコンテンツを評価した第１評価結果を取得し、
前記取得された前記第１評価結果および前記コンテンツを利用者が視聴すると予測される時間である予測滞在時間に基づく第２評価結果を、前記コンテンツを配信する際の指標として導出し、
前記指標の導出において、前記コンテンツに含まれる画像の位置に基づいて、前記予測滞在時間を導出する、
コンテンツ評価方法。

【請求項7】

コンピュータに、
所定規則に基づいて、ネットワークを介して利用者に配信されるコンテンツを評価した第１評価結果を取得させ、
前記取得された前記第１評価結果および前記コンテンツを利用者が視聴すると予測される時間である予測滞在時間に基づく第２評価結果を、前記コンテンツを配信する際の指標として導出させ、
前記指標の導出において、前記コンテンツに含まれる画像の位置に基づいて、前記予測滞在時間を導出させる、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンテンツ評価装置、コンテンツ配信システム、コンテンツ評価方法、およびプログラムに関する。

【背景技術】

【0002】

ネットワークを介して利用者に提供されるニュース記事等のコンテンツをその内容に基づいて評価し、評価結果に基づいて、インターネットのサイト等におけるコンテンツの掲載有無や掲載順を決定することが行われている。例えば、特許文献１に記載の発明では、記事情報の重要度と情報鮮度とに基づいて掲載順を決定している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１７−５９０５７号公報

【特許文献2】特開２０１６−２９５３６号公報

【特許文献3】特開２０１５−１９７７１号公報

【特許文献4】特開２００９−３７４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献２〜４に記載の発明では、コンテンツを利用者が視聴する時間を測定または予測することが記載されているが、それらの情報をコンテンツの掲載有無や掲載順と結び付けて利用することについて記載されていない。このため、従来の技術では、配信者のニーズに応じた評価基準でコンテンツを評価することができない場合があった。

【0005】

本発明は、このような事情を考慮してなされたものであり、配信者のニーズに応じた評価基準でコンテンツを評価することが可能なコンテンツ評価装置、コンテンツ配信システム、コンテンツ評価方法、およびプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0006】

本発明の一態様は、所定規則に基づいて、ネットワークを介して利用者に配信されるコンテンツを評価した第１評価結果を取得する取得部と、前記取得部により取得された前記第１評価結果および前記コンテンツを利用者が視聴すると予測される時間である予測滞在時間に基づく第２評価結果を、前記コンテンツを配信する際の指標として導出する評価部と、を備えるコンテンツ評価装置である。

【発明の効果】

【0007】

本発明の一態様によれば、配信者のニーズに応じた評価基準でコンテンツを評価することが可能なコンテンツ評価装置、コンテンツ配信システム、コンテンツ評価方法、およびプログラムを提供することができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態のコンテンツ評価装置（コンテンツ評価部１１０）を利用したコンテンツ配信システム１００の利用環境および構成の一例を示す図である。

【図2】第１評価部１１２による処理の内容を模式的に示す図である。

【図3】コンテンツの文字数と予測滞在時間との関係の一例を示す図である。

【図4】第１実施形態のコンテンツ評価部１１０により実行される処理の流れの一例を示すフローチャートである。

【図5】第１実施形態のコンテンツ選択部１４０およびコンテンツ配信部１５０により実行される処理の流れの一例を示すフローチャートである。

【図6】第２実施形態のコンテンツ評価装置（コンテンツ評価部２２０）を利用したコンテンツ配信システム２００の利用環境および構成の一例を示す図である。

【図7】第２実施形態の第１評価部２２２の構成および機能の一例を示す図である。

【図8】第２実施形態のコンテンツ評価部２２０により実行される部分的な処理の流れの一例を示すフローチャートである。

【図9】第２実施形態のコンテンツ配信システム２００により実行される処理の流れの一例を示すフローチャートである。

【図10】第３実施形態のコンテンツ評価装置（マス・コンテンツ評価部３１０）を利用したコンテンツ配信システム３００の利用環境および構成の一例を示す図である。

【発明を実施するための形態】

【0009】

＜概要＞
以下、図面を参照し、本発明のコンテンツ評価装置、コンテンツ配信システム、コンテンツ評価方法、およびプログラムの実施形態について説明する。コンテンツ評価装置は、ネットワークを介して利用者に配信されるコンテンツを評価する装置である。コンテンツ評価装置やコンテンツ配信システムは、一以上のプロセッサにより実現される。コンテンツとは、例えばニュース記事であるが、動画などの他のコンテンツであってもよい。以下の説明では、コンテンツはニュース記事であるものとする。また、報道性の有無を問わず、何らかの情報を伝えるものであればニュース記事に該当するものとする。ニュース記事には、少なくともテキスト情報が含まれ、そのため文字数がカウント可能である。また、ニュース記事には、テキストでないもの、例えば静止画や動画、インターフェースとして機能する図形（スイッチ）、装飾エフェクトなどが含まれてもよい。

【0010】

コンテンツ評価装置は、所定規則に基づいてコンテンツを評価した第１評価結果と、コンテンツを利用者が視聴すると予測される時間である予測滞在時間と、に基づく第２評価結果を導出する。この第２評価結果は、コンテンツの掲載有無や掲載順を決定する際の指標として用いられる。コンテンツ評価装置は、第１評価結果を自ら導出することで取得してもよいし、他装置から第１評価結果を取得してもよい。また、コンテンツ評価装置は、コンテンツを配信する装置と統合されてもよいし、別体として構成されてもよい。以下の実施形態ではコンテンツ評価装置は、コンテンツを配信する装置と統合されてコンテンツ配信システムとして機能するものとする。

【0011】

＜第１実施形態＞
［構成］
以下、第１実施形態について説明する。図１は、第１実施形態のコンテンツ評価装置（コンテンツ評価部１１０）を利用したコンテンツ配信システム１００の利用環境および構成の一例を示す図である。

【0012】

コンテンツ配信システム１００は、ネットワークＮＷを介して利用者の端末装置１０と通信する。ネットワークＮＷは、例えば、インターネット、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、プロバイダ端末、無線通信網、無線基地局、専用回線などを含む。

【0013】

端末装置１０は、例えば、スマートフォンなどの携帯電話、タブレット端末、各種パーソナルコンピュータなどの、入力装置、表示装置、通信装置、記憶装置、および演算装置を備える端末装置である。通信装置は、ＮＩＣ（Network Interface Card）などのネットワークカード、無線通信モジュールなどを含む。端末装置１０では、ブラウザやアプリケーションプログラムなどのＵＡ（User Agent）が起動し、利用者の入力する内容に応じたリクエストをコンテンツ配信システム１００に送信する。また、ＵＡは、コンテンツ配信システム１００から取得した情報に基づいて、各種画像を表示する。

【0014】

コンテンツ配信システム１００は、ブラウザからのリクエストに応じてウェブページを端末装置１０に提供するウェブサーバ、またはアプリケーションプログラムからのリクエストに応じて画像や音声を提供する端末装置１０に提供するアプリサーバとして機能する。コンテンツ配信システム１００は、ＮＩＣなどのネットワークカードを備える。

【0015】

コンテンツ配信システム１００は、例えば、コンテンツ評価部１１０と、コンテンツ選択部１４０と、コンテンツ配信部１５０と、コンテンツ実績解析部１６０とを備える。コンテンツ評価部１１０は、第１評価部１１２と、第２評価部１１４とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0016】

コンテンツ配信システム１００は、記憶部１９０に記憶された情報を参照し、適宜、処理結果を記憶部１９０に書込みながら処理を行う。記憶部１９０は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ＨＤＤ（Hard Disk Drive）、フラッシュメモリなどにより実現される。記憶部１９０には、コンテンツ配信システム１００のハードウェアプロセッサが実行するプログラムが格納されていてもよい。記憶部１９０は、コンテンツ配信システム１００に附属する（コンテンツ配信システム１００またはコンテンツ評価部１１０が備える）ものであってもよいし、コンテンツ配信システム１００がネットワークＮＷを介してアクセス可能なＮＡＳ（Network Attached Storage）などの外部装置であってもよい。記憶部１９０には、例えば、上記のプログラムの他、コンテンツ情報１９１、利用者情報１９２、行動ログ１９３、コンテンツ実績情報１９４、学習モデル情報１９５などの情報が格納される。

【0017】

コンテンツ情報１９１は、ニュース記事に含まれるテキスト情報、画像、音声等の内容、ニュース記事の配信元や著者等の情報を含む。利用者情報１９２は、利用者の識別情報である利用者ＩＤ、利用者のデモグラ情報（年齢、性別、職業、住所その他の情報をいう）等を含む。行動ログ１９３は、利用者によるコンテンツの閲覧履歴に基づく情報である。コンテンツ実績情報１９４は、コンテンツごとの閲覧実績に基づく情報である。学習モデル情報１９５は、第１評価部１１２により学習される学習モデルを規定する情報である。これらの詳細については、以下において適宜説明を追加する。

【0018】

［第１評価部］
第１評価部１１２は、例えば、利用者の属性に依存しない所定規則に基づいて、コンテンツを評価した推定重要度（第１評価結果の一例）を導出する。図２は、第１評価部１１２による処理の内容を模式的に示す図である。第１評価部１１２は、例えば、最初の数回はコンテンツ情報１９１のみを用いて推定重要度を求め、過去の実績値が入力され始めると、それを用いて修正が入るように、ＲＮＮ（Recurrent Neural Network）を構成する。なお、所定規則は、以下に説明する規則に加えて、利用者の属性に依存する何らかの要素が加味された規則であってもよい。

【0019】

まず、第１評価部１１２は、ニュース記事が入稿され、コンテンツ情報１９１として記憶部１９０に格納された段階で、当該ニュース記事に関するコンテンツ情報の疎ベクトルｘから分散表現ｙ_０を求める。係る処理は、式（１）で表される。式中、Ａは行列であり、ａはベクトルである。関数ｆ（）は、式（２）で表される。すなわち、関数ｆ（）は、ベクトルの各要素について負であればゼロに置換する関数である。

【0020】

【数1】

【0021】

前述したように、コンテンツ情報１９１は、ニュース記事に含まれるテキスト情報、画像、音声等の内容、ニュース記事の配信元や著者等の情報を含む。第１評価部１１２は、例えば、ｔｆ−ｉｄｆ（Term Frequency-Inverse Document Frequency）やword2vec等の技術を用いて、テキスト情報をベクトル化する。また、画像や音声に対しては種々の技術に基づいてベクトル形式の特徴量を求める。第１評価部１１２は、上記の各種情報から得られるベクトルデータを統合し（例えば加算し）、コンテンツ情報の疎ベクトルｘを求める。

【0022】

第１評価部１１２は、時間の経過と共に、以下の処理を繰り返し実行する。

【0023】

第１評価部１１２は、繰り返し実行される中でのｋ回目の処理として、ｋ−１回目の処理で求められた特徴情報ｙ_ｋ−１と、当該回の時刻情報ｔ_ｋおよび実績情報ｈ_ｋとに基づいて、特徴情報ｙ_ｋを求める処理を行う。係る処理は、式（３）で表される。実績情報の詳細については後述する。式中、Ｂは行列であり、ｂはベクトルであり、Ｔは転置を表している。第１評価部１１２は、特徴情報ｙ_ｋ−１の転置ベクトルと時刻情報ｔ_ｋの転置ベクトルと実績情報ｈ_ｋの転置ベクトルとを並べて得られる行列と行列Ｂを乗算し、ベクトルｂを加算することで、特徴情報ｙ_ｋを求める。

【0024】

【数2】

【0025】

次に、第１評価部１１２は、特徴情報ｙ_ｋに基づいて、時刻「ｋ」における推定素性ｚ_ｋを算出する。係る処理は、式（４）で表される。式中、Ｃは行列であり、ｃはベクトルである。関数σ（）は、式（５）で表されるシグモイド関数である。

【0026】

【数3】

【0027】

次に、第１評価部１１２は、推定素性ｚ_ｋに基づいて、推定重要度ｗ_ｋを算出する。係る処理は、式（６）で表される。式中、Ｄは行列であり、ｄはベクトルである。

【0028】

【数4】

【0029】

このようにして繰り返し求められる推定重要度ｗ_ｋのうち最新のものが、当該コンテンツの推定重要度ｗｋとして扱われる。

【0030】

第１評価部１１２は、例えば、確率的勾配降下法（ＳＧＤ；Stochastic Gradient Descent）等の手法を用いて、行列Ａ〜Ｄ、およびベクトルａ〜ｄの値を学習する。そして、第１評価部１１２は、学習結果に基づいて、ＲＮＮにおける接続係数を修正する。これによって、推定重要度ｗ_ｋの推定精度を向上させることができる。学習された接続係数は、学習モデル情報１９５の一部として記憶部１９０に格納される。学習モデル情報１９５は、ニューロンの接続情報や接続係数などを含む情報である。

【0031】

［実績情報について］
以下、実績情報ｈ_ｋについて説明する。コンテンツ配信部１５０は、コンテンツを配信する際に、行動ログ１９３を蓄積する。なお、係る処理はコンテンツ配信システム１００とは別体のログ収集装置によって行われてもよい。行動ログ１９３は、例えば、利用者ごとのコンテンツの閲覧履歴を示す情報である。コンテンツ実績解析部１６０は、行動ログ１９３に基づいてコンテンツ実績情報１９４を生成する。コンテンツ実績情報１９４は、例えば、コンテンツごと、過去の所定時間前まで振り返った場合の時間帯ごとのインプレッション数、クリック数、ツイート数などの情報である。あるコンテンツに対応するコンテンツ実績情報１９４が、前述した実績情報ｈ_ｋとして扱われる。例えば、実績情報ｈ_ｋは、対象となっているコンテンツの過去の所定時間前まで振り返った場合の時間帯ごとのインプレッション数をベクトル化したものである。

【0032】

第１評価部１１２が繰り返し処理を行う中で、コンテンツであるニュース記事の入稿直後には、実績情報ｈ_ｋはゼロベクトルとなる。このため、入稿直後には、専らコンテンツ情報１９１に基づいて推定重要度ｗ_ｋが導出される。その後、実績情報ｈ_ｋが有意な値を持ち始めると、推定重要度ｗ_ｋにおける実績情報ｈ_ｋの影響が大きくなっていく。これによって、より柔軟に推定重要度ｗ_ｋ（第１評価結果）を導出することができる。

【0033】

［第２評価部］
第２評価部１１４は、対象となるコンテンツについて、第１評価部１１２により導出された推定重要度ｗ_ｋと、予測滞在時間とに基づいて第２評価結果を導出する。予測滞在時間とは、対象となるコンテンツを利用者が視聴すると予測される時間である。第２評価部は、例えば、コンテンツの文字数が多くなるほど予測滞在時間が長くなるように、予測滞在時間を推定する。但し、コンテンツの文字数が余り多くなると利用者が途中で視聴を止めることも生じ得るため、第２評価部１１４は、コンテンツの文字数の増加に応じて予測滞在時間の変化率が小さくなるように予測滞在時間を推定してもよい。図３は、コンテンツの文字数と予測滞在時間との関係の一例を示す図である。

【0034】

また、予測滞在時間の推定における他の要素として、画像の有無、画像の特性などが考慮されてもよい。例えば、第２評価部１１４は、画像の特性として、ニュース記事の内容を端的に示唆している画像であることを示す情報が、画像またはコンテンツに付与されている場合、そうでない場合に比して予測滞在時間を短く推定する。逆に、画像の特性として、ニュース記事の内容と余り関係の無い画像であることを示す情報が、画像またはコンテンツに付与されている場合、そうでない場合に比して予測滞在時間を長く推定してもよい。いずれの場合も、第２評価部１１４は、画像の表示位置がコンテンツの表示面に対して上側にあるほど、予測滞在時間を短く、或いは長くする修正量を大きくしてよい。

【0035】

第２評価部１１４は、上記の傾向を統合して予測滞在時間を推定する。第２評価部１１４による予測滞在時間ｔｃの推定手法は、例えば、式（７）で表される。ｇ（）は、上記の傾向を実現するための任意の関数である。

【0036】

ｔｃ＝ｇ｛（文字数）、（画像の有無）、（画像の特性）、（画像の位置）｝ …（７）

【0037】

そして、第２評価部１１４は、例えば、推定重要度ｗ_ｋに予測滞在時間ｔｃを乗算し、コンテンツを配信する際の指標として用いられる第２評価結果ＳＣを導出する。係る処理は、式（８）で表される。第２評価結果ＳＣが高いということは、コンテンツ自体の重要度が高いため利用者のクリック率が高いと推定され、且つそのコンテンツの視聴が開始されると比較的長い時間、視聴が継続されることを意味する。従って、第２評価結果ＳＣが長いコンテンツを優先的に配信することで、利用者への満足度を向上させたり、サービスへの定着を促進したり、利用者の位置情報などを多く取得できたりするといった効果が期待できる。これらの効果は、コンテンツの配信者のニーズに応じたものである場合がある。従って、コンテンツ評価部１１０によれば、配信者のニーズに応じた評価基準でコンテンツを評価することができる。

【0038】

ＳＣ＝ｗ_ｋ×ｔｃ …（８）

【0039】

［コンテンツの配信］
コンテンツ選択部１４０は、第２評価結果ＳＣに基づいて、利用者に配信するコンテンツを選択する。例えば、コンテンツ選択部１４０は、第２評価結果ＳＣが高い順にコンテンツを選択すると共に、一定割合でランダムに選択したコンテンツを混入させる。コンテンツ配信部１５０は、コンテンツ選択部１４０により選択されたコンテンツを利用者の端末装置１０に配信する。

【0040】

［処理フロー］
図４は、第１実施形態のコンテンツ評価部１１０により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、繰り返し実行される。まず、コンテンツ評価部１１０は、評価タイミングが到来したか否かを判定する（Ｓ１００）。評価タイミングとは、例えば、定期的に到来するタイミングであってもよいし、更に、新たにニュース記事が入稿されたタイミングを含んでもよい。

【0041】

評価タイミングが到来すると、コンテンツ評価部１１０は、Ｓ１１０〜Ｓ１１８の処理を、対象となるコンテンツごとに行う。対象となるコンテンツとは、全てのコンテンツであってもよいし、新たにニュース記事が入稿されたタイミングにおいては、入稿されたコンテンツに限定されてもよい。また、古くなったコンテンツについては適宜、対象から外れるようにしてもよい。

【0042】

まず、コンテンツ実績解析部１６０が、コンテンツ実績情報１９４を更新する（Ｓ１１０）。なお、Ｓ１１０の処理は、本フローチャートの処理とは非同期で実行されてもよい。

【0043】

次に、第１評価部１１２が、第１評価値（推定重要度ｗ_ｋ）を導出する（Ｓ１１２）。次に、第２評価部１１４が、対象となるコンテンツの予測滞在時間ｔｃを導出、または記憶部１９０から読み出す（Ｓ１１４）。予測滞在時間ｔｃが経時的変化をしないものである場合、第２評価部１１４は、あるコンテンツについて一度、予測滞在時間ｔｃを導出すると、結果を記憶部１９０に記憶させておき、以降の処理では記憶部１９０から読み出すようにしてよい。

【0044】

次に、第２評価部１１４が、第２評価結果ＳＣを導出する（Ｓ１１６）。コンテンツ評価部１１０は、上記の処理の過程で得られた各種情報、および第２評価結果ＳＣを、記憶部１９０に格納する（Ｓ１１８）。これによって、本フローチャートの１ルーチンの処理が終了する。

【0045】

図５は、第１実施形態のコンテンツ選択部１４０およびコンテンツ配信部１５０により実行される処理の流れの一例を示すフローチャートである。まず、コンテンツ配信部１５０は、コンテンツのリクエストがあったか否かを判定する（Ｓ１２０）。

【0046】

コンテンツのリクエストがあった場合、コンテンツ選択部１４０が、前述したように第２評価結果ＳＣに基づいてコンテンツを選択し（Ｓ１３０）、コンテンツ配信部１５０がＳ１３０で選択されたコンテンツを利用者の端末装置１０に配信する（Ｓ１３２）。そして、コンテンツ配信部１５０は、当該利用者の行動ログを更新する（Ｓ１３４）。これによって、本フローチャートの１ルーチンの処理が終了する。

【0047】

以上説明した第１実施形態のコンテンツ評価部１１０（コンテンツ評価装置）によれば、所定規則に基づいて、ネットワークＮＷを介して利用者に配信されるコンテンツを評価した第１評価結果を導出する（取得する）第１評価部１１２と、第１評価部１１２により導出された第１評価結果および予測滞在時間に基づく第２評価結果を、コンテンツを配信する際の指標として導出する第２評価部１１４と、を備えることにより、配信者のニーズに応じた評価基準でコンテンツを評価することができる。

【0048】

なお、第１実施形態における第１評価結果の導出手法は、あくまで一例である。第１評価結果は、他の規則によって導出されてもよい。

【0049】

＜第２実施形態＞
以下、第２実施形態について説明する。図６は、第２実施形態のコンテンツ評価装置（コンテンツ評価部２２０）を利用したコンテンツ配信システム２００の利用環境および構成の一例を示す図である。

【0050】

コンテンツ配信システム２００は、ネットワークＮＷを介して利用者の端末装置１０と通信する。端末装置１０に関しては第１実施形態と同様であるため説明を省略する。コンテンツ配信システム２００は、ブラウザからのリクエストに応じてウェブページを端末装置１０に提供するウェブサーバ、またはアプリケーションプログラムからのリクエストに応じて画像や音声を提供する端末装置１０に提供するアプリサーバとして機能する。コンテンツ配信システム２００は、ＮＩＣなどのネットワークカードを備える。

【0051】

コンテンツ配信システム２００は、例えば、コンテンツ評価部２２０と、コンテンツ選択部２４０と、コンテンツ配信部２５０と、コンテンツ実績解析部２６０とを備える。コンテンツ評価部２２０は、第１評価部２２２と、第２評価部２２４とを備える。これらの構成要素は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0052】

コンテンツ配信システム２００は、記憶部２９０に記憶された情報を参照し、適宜、処理結果を記憶部２９０に書込みながら処理を行う。記憶部２９０は、ＲＡＭやＲＯＭ、ＨＤＤ、フラッシュメモリなどにより実現される。記憶部２９０には、コンテンツ配信システム２００のハードウェアプロセッサが実行するプログラムが格納されていてもよい。記憶部２９０は、コンテンツ配信システム２００に附属する（コンテンツ配信システム２００またはコンテンツ評価部２２０が備える）ものであってもよいし、コンテンツ配信システム２００がネットワークＮＷを介してアクセス可能なＮＡＳなどの外部装置であってもよい。記憶部２９０には、例えば、上記のプログラムの他、コンテンツ情報２９１、利用者情報２９２、行動ログ２９３、コンテンツ実績情報２９４、学習モデル情報２９５などの情報が格納される。

【0053】

コンテンツ情報２９１は、ニュース記事に含まれるテキスト情報、画像、音声等の内容、ニュース記事の配信元や著者等の情報を含む。利用者情報２９２は、利用者の識別情報である利用者ＩＤ、利用者のデモグラ情報等を含む。行動ログ２９３は、利用者によるコンテンツの閲覧履歴に基づく情報である。コンテンツ実績情報２９４は、コンテンツごとの閲覧実績に基づく情報である。学習モデル情報２９５は、第１評価部２２２により学習される学習モデルを規定する情報である。これらの詳細については、以下において適宜説明を追加する。

【0054】

［第１評価部］
図７は、第２実施形態の第１評価部２２２の構成および機能の一例を示す図である。第１評価部２２２は、コンテンツベクトル生成部２２２Ａと、利用者ベクトル生成部２２２Ｂと、類似度判定部２２２Ｃとを備える。第１評価部２２２は、以下に説明するように利用者の行動ログに基づく属性に依存する規則によってコンテンツを評価する。

【0055】

コンテンツベクトル生成部２２２Ａは、まず、コンテンツの内容に対して形態素解析などを行って、テキスト情報を単語（形態素）に分割する。次に、コンテンツベクトル生成部２２２Ａは、各単語に対してword2vecなどの手法を適用して、分散表現化された単語ベクトルを取得する。形態素解析とword2vecとのうち一方または双方は、コンテンツベクトル生成部２２２Ａが自ら処理を行うのではなく、外部装置に処理を依頼することで実現されてもよい。

【0056】

そして、コンテンツベクトル生成部２２２Ａは、コンテンツから取得された一以上の単語ベクトルをコンテンツベクトル導出モデルに入力することで、コンテンツベクトルＶｃを導出する。コンテンツベクトル導出モデルは、例えば、機械学習によって生成されるモデルである。コンテンツベクトル導出モデルは、例えば、ディープラーニングなどの手法により、既知の単語ベクトルとコンテンツベクトルＶｃとの関係が再現できるような、隠れ層の活性化関数のパラメータ（接続係数）を求めることで生成される。

【0057】

なお、上記の定義に拘わらず、コンテンツベクトル導出モデルは、word2vecの特定、すなわち、どのようなコーパスをword2vecに与えるか、までを含んでもよい。

【0058】

コンテンツベクトル生成部２２２Ａは、生成したコンテンツベクトルＶｃを、コンテンツＩＤと共に学習モデル情報２９５の一部として記憶部２９０に格納する。

【0059】

利用者ベクトル生成部２２２Ｂは、行動ログ２９３を参照し、利用者が閲覧したコンテンツのコンテンツＩＤを取得し、取得したコンテンツＩＤに対応するコンテンツベクトルＶｃを記憶部２９０から取得する。利用者ベクトル生成部２２２Ｂは、取得された一以上のコンテンツベクトルＶｃを利用者ベクトル導出モデルに入力することで、利用者ベクトルＶｕを導出する。利用者ベクトル導出モデルは、例えば、機械学習によって生成されるモデルである。利用者ベクトル導出モデルは、例えば、ディープラーニングなどの手法により、既知のコンテンツベクトルＶｃと利用者ベクトルＶｕとの関係が再現できるような、隠れ層の活性化関数のパラメータ（接続係数）を求めることで生成される。利用者ベクトル生成部２２２Ｂは、生成した利用者ベクトルＶｕを、利用者ＩＤと共に学習モデル情報２９５の一部として記憶部２９０に格納する。学習モデル情報２９５には、更に、コンテンツベクトル導出モデルや利用者ベクトル導出モデルを規定する情報（例えば、それらのニューロン接続情報や接続係数など）が含まれる。なお、利用者ベクトルＶｕは、閲覧したコンテンツのコンテンツベクトルＶｃ以外の要素を反映させて作成されてもよい。コンテンツベクトルＶｃ以外の要素とは、例えば、利用者の入力したクエリ、コンテンツに該当しないウェブページの閲覧履歴、利用者のデモグラ情報などのうち一部または全部である。

【0060】

類似度判定部２２２Ｃは、例えば、対象となる利用者について、利用者ベクトルＶｕとコンテンツベクトルＶｃとのコサイン類似度Ｓｍを、利用者ごとにコンテンツを評価した第１評価結果として導出する。

【0061】

［第２評価部］
第２評価部２２４は、第１実施形態の第２評価部１１４と同様に、第１評価結果であるコサイン類似度Ｓｍに予測滞在時間ｔｃを乗算し、コンテンツを配信する際の指標として用いられる第２評価結果ＳＣ＊を導出する。第２評価結果ＳＣ＊は、利用者の属性（行動ログ）に依存する規則でコンテンツを評価した結果である。

【0062】

［コンテンツの配信］
コンテンツ選択部２４０は、第２評価結果ＳＣ＊に基づいて、利用者に配信するコンテンツを選択する。例えば、コンテンツ選択部２４０は、第２評価結果ＳＣ＊が高い順にコンテンツを選択すると共に、一定割合でランダムに選択したコンテンツを混入させる。コンテンツ配信部２５０は、コンテンツ選択部２４０により選択されたコンテンツを利用者の端末装置１０に配信する。

【0063】

［処理フロー］
図８は、第２実施形態のコンテンツ評価部２２０により実行される部分的な処理の流れの一例を示すフローチャートである。まず、コンテンツ評価部２２０は、コンテンツが入稿されたか否かを判定する（Ｓ２００）。

【0064】

コンテンツが入稿されると、第１評価部２２２のコンテンツベクトル生成部２２２Ａは、コンテンツベクトルＶｃを導出し、記憶部２９０に格納する（Ｓ２１０）。また、第２評価部２２４は、当該コンテンツの予測滞在時間を導出し、記憶部に格納しておく（Ｓ２１２）。これによって、本フローチャートの１ルーチンが終了する。

【0065】

図９は、第２実施形態のコンテンツ配信システム２００により実行される処理の流れの一例を示すフローチャートである。

【0066】

まず、コンテンツ配信部２５０は、コンテンツのリクエストがあったか否かを判定する（Ｓ２２０）。

【0067】

コンテンツのリクエストがあった場合、コンテンツ選択部２４０が、第２評価結果ＳＣ＊に基づいてコンテンツを選択し（Ｓ２３０）、コンテンツ配信部２５０がＳ２３０で選択されたコンテンツを利用者の端末装置１０に配信する（Ｓ２３２）。そして、コンテンツ配信部２５０は、当該利用者の行動ログを更新する（Ｓ２３４）。

【0068】

次に、利用者ベクトル生成部２２２Ｂが、更新された行動ログに基づいて、利用者ベクトルＶｕを生成する（Ｓ２３６）。次に、類似度判定部２２２Ｃが、Ｓ２３６で生成された利用者ベクトルＶｕと、既に生成されている各コンテンツのコンテンツベクトルＶｃとに基づいて、コンテンツごとに第１評価結果（コサイン類似度Ｓｍ）を導出する（Ｓ２３８）。

【0069】

次に、第２評価部２２４が、Ｓ２３８で導出された第１評価結果と、予め導出された予測滞在時間とに基づいて、コンテンツごとに第２評価結果ＳＣ＊を導出し（Ｓ２４０）、第２評価結果ＳＣ＊を記憶部２９０に格納する（Ｓ２４２）。これによって、本フローチャートの１ルーチンの処理が終了する。

【0070】

以上説明した第２実施形態のコンテンツ評価部２１０（コンテンツ評価装置）によれば、第１実施形態と同様の効果を奏することができる。

【0071】

＜第３実施形態＞
以下、第３実施形態について説明する。図１０は、第３実施形態のコンテンツ評価装置（マス・コンテンツ評価部３１０）を利用したコンテンツ配信システム３００の利用環境および構成の一例を示す図である。

【0072】

コンテンツ配信システム３００は、ネットワークＮＷを介して利用者の端末装置１０と通信する。端末装置１０に関しては第１実施形態と同様であるため説明を省略する。コンテンツ配信システム３００は、ブラウザからのリクエストに応じてウェブページを端末装置１０に提供するウェブサーバ、またはアプリケーションプログラムからのリクエストに応じて画像や音声を提供する端末装置１０に提供するアプリサーバとして機能する。コンテンツ配信システム３００は、ＮＩＣなどのネットワークカードを備える。

【0073】

コンテンツ配信システム３００は、例えば、マス・コンテンツ評価部３１０と、利用者ごとコンテンツ評価部３２２と、コンテンツ選択部３４０と、コンテンツ配信部３５０と、コンテンツ実績解析部３６０とを備える。マス・コンテンツ評価部３１０は、第１評価部３１２と、第２評価部３１４とを備える。これらの構成要素は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0074】

コンテンツ配信システム３００は、記憶部３９０に記憶された情報を参照し、適宜、処理結果を記憶部２９０に書込みながら処理を行う。記憶部３９０は、ＲＡＭやＲＯＭ、ＨＤＤ、フラッシュメモリなどにより実現される。記憶部３９０には、コンテンツ配信システム３００のハードウェアプロセッサが実行するプログラムが格納されていてもよい。記憶部３９０は、コンテンツ配信システム３００に附属する（コンテンツ配信システム３００、マス・コンテンツ評価部３１０、または利用者ごとコンテンツ評価部３２２が備える）ものであってもよいし、コンテンツ配信システム３００がネットワークＮＷを介してアクセス可能なＮＡＳなどの外部装置であってもよい。記憶部３９０には、例えば、上記のプログラムの他、コンテンツ情報３９１、利用者情報３９２、行動ログ３９３、コンテンツ実績情報３９４、学習モデル情報３９５などの情報が格納される。

【0075】

コンテンツ情報３９１は、ニュース記事に含まれるテキスト情報、画像、音声等の内容、ニュース記事の配信元や著者等の情報を含む。利用者情報３９２は、利用者の識別情報である利用者ＩＤ、利用者のデモグラ情報等を含む。行動ログ３９３は、利用者によるコンテンツの閲覧履歴に基づく情報である。コンテンツ実績情報３９４は、コンテンツごとの閲覧実績に基づく情報である。学習モデル情報３９５は、第１評価部３１２および利用者ごとコンテンツ評価部３２２によりそれぞれ学習される学習モデルを規定する情報である。これらの詳細については、以下において適宜説明を追加する。

【0076】

マス・コンテンツ評価部３１０の第１評価部３１２および第２評価部３１４は、第１実施形態に係るコンテンツ評価部１１０の第１評価部１１２および第２評価部１１４と同様の機能を有する。すなわち、マス・コンテンツ評価部３１０は、推定重要度ｗ_ｋに予測滞在時間ｔｃを乗算し、コンテンツを配信する際の指標として用いられる第２評価結果ＳＣを導出する。

【0077】

利用者ごとコンテンツ評価部３２２は、第２実施形態に係るコンテンツ評価部２２０の第１評価部２２２と同様の機能を有する。すなわち、利用者ごとコンテンツ評価部３２２は、対象となる利用者について、利用者ベクトルＶｕとコンテンツベクトルＶｃとのコサイン類似度Ｓｍを、利用者ごとにコンテンツを評価した指標として導出する。

【0078】

第３実施形態に係るコンテンツ選択部３４０は、第２評価結果ＳＣの値が上位であるコンテンツと、コサイン類似度Ｓｍの値が上位であるコンテンツとを、所定の割合で混合したコンテンツ群を選択する。コンテンツ配信部３５０は、コンテンツ選択部３４０により選択されたコンテンツ群を利用者の端末装置１０に配信する。コンテンツ実績解析部３６０の機能は第１実施形態に係るコンテンツ実績解析部１６０の機能と同様である。

【0079】

以上説明した第３実施形態のマス・コンテンツ評価部３１０（コンテンツ評価装置）によれば、第１実施形態と同様の効果を奏することができる。

【0080】

なお、コンテンツ選択部３４０は、第２評価結果ＳＣの値が上位であるコンテンツと、コサイン類似度Ｓｍの値が上位であるコンテンツとを、所定の割合で混合したコンテンツ群を選択するものとしたが、これに限らず、ページ、サイト、サービス、ドメインなどに応じて、第２評価結果ＳＣの値が上位であるコンテンツと、コサイン類似度Ｓｍの値が上位であるコンテンツとのいずれか一方を選択してもよい。また、コンテンツ選択部３４０は、利用者の行動ログが十分に蓄積されていない段階では第２評価結果ＳＣの値が上位であるコンテンツを選択し、利用者の行動ログが蓄積されるのに応じてコサイン類似度Ｓｍの値が上位であるコンテンツの割合を増やすようにしてもよい。また、コンテンツ選択部３４０は、ランダムな要素を加味してコンテンツを選択してもよい。

【0081】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0082】

１００、２００、３００ コンテンツ配信システム
１１０、２２０ コンテンツ評価部
１１２、２２２、３１２ 第１評価部
１１４、２２４、３１４ 第２評価部
１４０、２４０、３４０ コンテンツ選択部
１５０、２５０、３５０ コンテンツ配信部
１６０、２６０、３６０ コンテンツ実績解析部
１９０、２９０、３９０ 記憶部
１９１、２９１、３９１ コンテンツ情報
１９２、２９２、３９２ 利用者情報
１９３、２９３、３９３ 行動ログ
１９４、２９４、３９４ コンテンツ実績情報
１９５、２９５、３９５ 学習モデル情報
３１０ マス・コンテンツ評価部
３２２ 利用者ごとコンテンツ評価部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】