(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024108042
(43)【公開日】2024-08-09
(54)【発明の名称】記録作成装置、システム、映像記録作成方法、およびプログラム
(51)【国際特許分類】
G06F 40/56 20200101AFI20240802BHJP
【FI】
G06F40/56
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023012300
(22)【出願日】2023-01-30
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】名川 朋宏
【テーマコード(参考)】
5B091
【Fターム(参考)】
5B091CA21
(57)【要約】
【課題】 映像記録中の記述において、映像記録の主体者の個性を表現できるようにする。
【解決手段】 特定部(11)は、映像記録の主体者の属性を特定し、推定部(12)は、主体者と、映像に映る人物との関係を推定し、記述部(13)は、特定した主体者の属性、および、主体者と人物との関係に基づいて、映像に関する記述を生成する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
映像記録の主体者の属性を特定する特定手段と、
前記主体者と、映像に映る人物との関係を推定する推定手段と、
特定した前記主体者の属性、および、前記主体者と前記人物との関係に基づいて、前記映像に関する記述を生成する記述手段と
を備えた記録作成装置。
【請求項2】
前記特定手段は、
前記映像記録の前記主体者と関連付けられたデータを用いて、前記主体者の属性を特定する
ことを特徴とする請求項1に記載の記録作成装置。
【請求項3】
前記推定手段は、前記映像記録の前記主体者と関連付けられたデータから、前記主体者と、前記映像に映る前記人物との関係を推定する
ことを特徴とする請求項1に記載の記録作成装置。
【請求項4】
前記記述手段は、前記映像記録の前記主体者の属性に応じた文字種または言葉を使い、前記映像に関する前記記述を生成する
ことを特徴とする請求項1に記載の記録作成装置。
【請求項5】
前記記述手段は、
前記映像記録の前記主体者と関連付けられたデータを用いて、前記主体者らしい表現を学習する学習手段を備え、前記学習手段による学習結果を用いて、より前記主体者らしい表現となるように、前記映像に関する前記記述を修正する
ことを特徴とする請求項1に記載の記録作成装置。
【請求項6】
前記映像記録の前記主体者の属性に応じて、前記映像に映る特徴的な事物に関する情報を検索する検索手段をさらに備え、
前記記述手段は、前記映像に映る前記特徴的な事物に関する情報の検索結果に基づいて、前記特徴的な事物に関する記述を生成する
ことを特徴とする請求項1から5のいずれか1項に記載の記録作成装置。
【請求項7】
前記映像記録の前記主体者の属性を選択する選択手段をさらに備え、
前記特定手段は、選択された属性を前記主体者の属性として特定する
ことを特徴とする請求項1から5のいずれか1項に記載の記録作成装置。
【請求項8】
映像記録の主体者の属性を特定する特定手段と、
前記主体者と、映像に映る人物との関係を推定し、
特定した前記主体者の属性、および、前記主体者と前記人物との関係に基づいて、前記映像に関する記述を生成する記述手段と
を備えた記録作成装置と、
前記映像と、前記映像に関する前記記述とを表示する表示装置と、
前記映像記録の前記主体者と関連付けられたデータを保存するサーバと、
を備えたシステム。
【請求項9】
コンピュータが、
映像記録の主体者の属性を特定し、
前記主体者と、映像に映る人物との関係を推定し、
特定した前記主体者の属性、および、前記主体者と前記人物との関係に基づいて、前記映像に関する記述を生成する
映像記録作成方法。
【請求項10】
映像記録の主体者の属性を特定することと、
前記主体者と、映像に映る人物との関係を推定することと、
特定した前記主体者の属性、および、前記主体者と前記人物との関係に基づいて、前記映像に関する記述を生成することと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、記録作成装置、システム、映像記録作成方法、およびプログラムに関し、特に、映像記録を自動的に作成する記録作成装置、システム、映像記録作成方法、およびプログラムに関する。
【背景技術】
【0002】
日記やバイオグラフィなどの映像記録を自動的に作成したり、あるいは作成を補助したりするために利用される、関連する技術が存在する。関連する技術の中には、写真および動画を含む映像をカテゴライズし、また映像同士を関連付けることによって、映像記録に付加価値を持たせることを意図するものもある(例えば、デジタルアルバム)。
【0003】
特許文献1には、ユーザの位置情報や、生体センサが出力するセンサ値などを使って、ユーザの行動履歴を示すライフログ情報を作成および記録し、また、作成したライフログ情報を用いて、日記やコメントなどの記述を自動的に作成するという、関連する技術が開示されている。
【0004】
特許文献2に記載の関連する技術は、記憶装置に保存された映像を選択的に使って、デジタルアルバムを生成する。また、特許文献2には、選択された映像に対して紐付けられたコメントを用いて、デジタルアルバム中にコメントが挿入されることが記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2015-106291号公報
【特許文献2】特開2020- 71647号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1に記載の関連する技術では、日記中の記述部分や、映像に関するコメントなどの記述が、テンプレート(例文)にしたがって作成される。そのため、映像記録の主体者(作成者や所有者)の感情や思いを、記述から読み取ることができない。特許文献2に記載の関連する技術は、映像に対するコメントをデジタルアルバムに挿入することができるが、コメントをユーザが自分で入力しなければならないという不便がある。
【0007】
本発明は上記の課題に鑑みてなされたものであり、その目的は、映像記録中の記述において、映像記録の主体者の個性を表現できるようにすることにある。
【課題を解決するための手段】
【0008】
本発明の一態様に係る記録作成装置は、映像記録の主体者の属性を特定する特定手段と、前記主体者と、映像に映る人物との関係を推定する推定手段と、特定した前記主体者の属性、および、前記主体者と前記人物との関係に基づいて、前記映像に関する記述を生成する記述手段とを備えている。
【0009】
本発明の一態様に係るシステムは、映像記録の主体者の属性を特定する特定手段と、前記主体者と、映像に映る人物との関係を推定し、特定した前記主体者の属性、および、前記主体者と前記人物との関係に基づいて、前記映像に関する記述を生成する記述手段とを備えた記録作成装置と、前記映像と、前記映像に関する前記記述とを表示する表示装置と、前記映像記録の前記主体者と関連付けられたデータを保存するサーバと、を備えている。
【0010】
本発明の一態様に係る映像記録作成方法では、コンピュータが、映像記録の主体者の属性を特定し、前記主体者と、映像に映る人物との関係を推定し、特定した前記主体者の属性、および、前記主体者と前記人物との関係に基づいて、前記映像に関する記述を生成する。
【0011】
本発明の一態様に係るプログラムは、映像記録の主体者の属性を特定することと、前記主体者と、映像に映る人物との関係を推定することと、特定した前記主体者の属性、および、前記主体者と前記人物との関係に基づいて、前記映像に関する記述を生成することとをコンピュータに実行させる。
【発明の効果】
【0012】
本発明の一態様によれば、映像記録中の記述において、映像記録の主体者の個性を表現することができる。
【図面の簡単な説明】
【0013】
【
図1】実施形態1から3に係る記録作成装置のいずれかを備えたシステムの構成の一例を概略的に示す図である。
【
図2】実施形態1から3に係る記録作成装置のいずれかが作成し、ディスプレイデバイスに表示する映像記録の一例を示す図である。
【
図3】実施形態1に係る記録作成装置の構成を示すブロック図である。
【
図4】実施形態1に係る記録作成装置の動作を示すフローチャートである。
【
図5】実施形態1の一変形例に係る記録作成装置の構成を示すブロック図である。
【
図6】実施形態2に係る記録作成装置の構成を示すブロック図である。
【
図7】実施形態2に係る記録作成装置の動作を示すフローチャートである。
【
図8】実施形態3に係る記録作成装置の構成を示すブロック図である。
【
図9】実施形態3に係る記録作成装置の動作を示すフローチャートである。
【
図10】実施形態3に係る記録作成装置がディスプレイデバイスに表示する映像記録の一例を示す図である。
【
図11】映像記録の主体者の属性を選択することを受け付ける画面の一例を示す図である。
【
図12】映像記録の主体者の属性を選択することを受け付ける画面の他の一例を示す図である。
【
図13】実施形態3に係る記録作成装置がディスプレイデバイスに表示する映像記録の他の一例を示す図である。
【
図14】実施形態1から3に係る記録作成装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0014】
〔システム〕
後述する実施形態1から3に係る記録作成装置10、10A、20、30のいずれかを備えたシステム1の構成の一例を、最初に説明する。
【0015】
図1は、システム1の構成の一例を概略的に示す図である。
図1において、符号「10(10A、20、30)」とは、実施形態1から3に係る「記録作成装置10、10A、20、30のいずれか」を表す。同様に、以下の説明では、「記録作成装置10(10A、20、30)」とは、「記録作成装置10、10A、20、30のいずれか」を意味する。
【0016】
図1に示すように、システム1は、記録作成装置10(10A、20、30)に加えて、サーバ100、およびディスプレイデバイス200を備えている。
【0017】
サーバ100には、映像記録の主体者と関連付けられた各種データが保存されている。映像記録の主体者とは、映像記録の所有者、映像記録の作成者、映像記録の管理者、もしくは映像記録の読者である。あるいは、映像記録の主体者は、システム1が提供する映像記録サービスのユーザであるともいえる。
【0018】
サーバ100に保存されたデータには、例えば、生体認証情報、文書データ、画像データ、動画データ、天気情報、位置情報、および時刻情報が含まれる。特に、サーバ100には、映像記録の主体者が、スマートフォン、ドローン、ビデオゲーム機などのデバイスを使って撮影または収集した映像データが保存されている。加えて、サーバ100には、映像記録の主体者がインターネット検索などにより収集した情報、例えば、外食ランキングやデジタル図鑑などの情報が、さらに保存されていてもよい。
【0019】
ディスプレイデバイス200は、映像記録の主体者が映像記録を閲覧または編集するために利用する、表示部を備えた機器である。
図1に例示するように、ディスプレイデバイス200は、スマートフォンやパソコン(パーソナルコンピュータ)であってもよい。しかしながら、ディスプレイデバイス200はこれらの例に限定されない。
【0020】
記録作成装置10(10A、20、30)は、サーバ100に保存されたデータ、特に、映像記録の主体者が撮影または収集した映像データを取得して、取得したデータを用いて、映像記録を作成する。そして、記録作成装置10(10A、20、30)は、作成した映像記録のデータを、ディスプレイデバイス200へ送信し、ディスプレイデバイス200の表示部に、作成した映像記録を表示させる。記録作成装置10(10A、20、30)の機能および動作の詳細については、後述する実施形態1~3において説明する。
【0021】
(映像記録の一例)
図2は、記録作成装置10(10A、20、30)が作成し、ディスプレイデバイス200に表示する映像記録の一例を示す図である。ここでは、日記が映像記録に相当する。
【0022】
図2に示す例では、ディスプレイデバイス200の表示部の上側には、日記の映像部分(すなわち画像あるいは動画)が表示されており、その下側には、日記の記述部分が表示されている。ここで、映像部分には、符号Prで示す人物が含まれている。この人物は、日記の記述部分において、符号Tx1で示す文章(下線部)により、映像記録の主体者との関係を説明されている。これは、記録作成装置10(10A、20、30)が作成する映像記録の特徴の一つである。本特徴については、後述する実施形態1において、説明を追加する。
【0023】
さらに、日記の記述部分において、符号Tx2で示す文章(下線部)は、映像に映る特徴的な事物(本例では「ハグロトンボ」)に関する情報の検索結果に基づいて、作成されている。本特徴については、後述する実施形態2において、説明を追加する。
【0024】
さらに、日記の記述部分において、符号Tx3で示す文章(下線部)は、映像記録の主体者の属性に応じた文字種または言葉で表現されている。これも、記録作成装置10(10A、20、30)が作成する映像記録の特徴である。本特徴については、後述する実施形態1において、説明を追加する。
【0025】
〔実施形態1〕
図3から
図5を参照して、実施形態1について説明する。
【0026】
(記録作成装置10の構成)
図3を参照して、実施形態1に係る記録作成装置10の構成を説明する。
図3は、記録作成装置10の構成を示すブロック図である。
【0027】
図3に示すように、記録作成装置10は、特定部11、推定部12、および記述部13を備えている。
【0028】
特定部11は、映像記録の主体者の属性を特定する。特定部11は、特定手段の一例である。ここでの属性とは、例えば、生年月日、年齢、性別、住所、出身地、家族構成、友人知人関係、職種、専門、趣味である。なお、主体者の人間関係および興味関心も、属性の概念に含まれてもよい。
【0029】
例えば、特定部11は、サーバ100(
図1)あるいは図示しない個人データベースから、映像記録の主体者の個人情報を取得して、取得した個人情報から、映像記録の主体者の属性に関わる情報を抽出する。
【0030】
他の例では、特定部11は、映像記録の主体者と関連付けられたデータを用いて、主体者の属性を特定する。あるいは、特定部11は、映像に付加されたタグ情報を用いて、主体者の属性を特定してもよい。
【0031】
特定部11は、特定した主体者の属性を示す情報を、推定部12および記述部13のそれぞれへ出力する。
【0032】
推定部12は、主体者と、映像に映る人物との関係を推定する。推定部12は、推定手段の一例である。
【0033】
例えば、推定部12は、サーバ100(
図1)から、映像記録の主体者と関連付けられたデータを取得し、取得したデータの中から、映像データを抽出する。また、推定部12は、特定部11から、映像記録の主体者の属性を示す情報を受信する。
【0034】
そして、推定部12は、映像記録の主体者の属性を示す情報を用いて、主体者と関係を有すると推定される人物を、サーバ100から取得した映像から検出する。一例では、映像記録の主体者の属性が「親」(もしくは「父」または「母」)であり、映像に映る人物が年少者である場合、推定部12は、主体者と、映像に映る人物との関係は親子であると推定する。
【0035】
あるいは、推定部12は、サーバ100において、映像記録の主体者と関連付けられたデータから、主体者と、映像に映る人物との関係を推定してもよい。この場合、推定部12は、映像記録の主体者と関連付けられたデータの中から、映像記録の主体者の関係者(家族、恋人、友人知人、兄弟、同僚など)の顔画像データを取得する。あるいは、推定部12は、映像記録の主体者と関連付けられた映像中に、映像記録の主体者と一緒に写っている人物の顔画像データを取得してもよい。そして、推定部12は、取得した関係者の顔画像データを用いて、主体者と関係を有すると推定される人物を、映像から検出する。
【0036】
推定部12は、映像記録の主体者と、映像に映る人物との関係についての推定結果を、記述部13へ出力する。例えば、推定部12は、映像記録の主体者が「親」であり、映像に映る人物が「子」であると推定されるという情報を、記述部13へ出力する。
【0037】
記述部13は、特定した主体者の属性、および、主体者と映像に映る人物との関係に基づいて、映像に関する記述を生成する。記述部13は、記述手段の一例である。
【0038】
例えば、記述部13は、特定部11から、映像記録の主体者の属性を示す情報を受信する。また、記述部13は、推定部12から、映像記録の主体者と、映像に映る人物との関係についての推定結果を受信する。
【0039】
そして、記述部13は、特定した主体者の属性に基づいて、映像に関する記述を生成する。一例では、記述部13は、映像記録の主体者の属性に応じた文字種または言葉を使い、映像に関する記述を生成してもよい。他の一例では、記述部13は、映像記録の主体者の属性に応じたテンプレートを使い、映像に関する記述を生成してもよい。
【0040】
あるいはまた、記述部13は、映像記録の主体者と関連付けられたデータを用いて、主体者らしい表現を学習する学習手段を備え、学習手段による学習結果を用いて、より主体者らしい表現となるように、映像に関する記述を修正してもよい(変形例)。
【0041】
さらに、記述部13は、映像記録の主体者と、映像に映る人物との関係についての推定結果に基づいて、映像に関する記述を生成する。一例では、
図2に例示するように、記述部13は、映像記録の主体者(ここでは「親」)から見た、映像に映る人物(ここでは「子」)に言及する記述を生成する。
【0042】
記述部13は、このようにして生成した、映像に関する記述データを、ディスプレイデバイス200(
図1)へ送信する。記述部13から送信された記述データは、ディスプレイデバイス200の表示部に、日記(映像記録の一例である)の記述部分として表示される(
図2)。
【0043】
記述部13は、映像データとともに、映像に関する記述データを、ディスプレイデバイス200(
図1)へ送信してもよい。この場合、記述部13から送信された映像データは、ディスプレイデバイス200の表示部に、日記の映像部分として表示される一方、記述データは、ディスプレイデバイス200の表示部に、日記の記述部分として表示される(
図2)。
【0044】
(記録作成装置10の動作)
図4を参照して、本実施形態1に係る記録作成装置10の動作を説明する。
図4は、記録作成装置10の動作を示すフローチャートである。
【0045】
図4に示すように、まず、特定部11は、映像記録の主体者の属性を特定する(S101)。特定部11は、特定した主体者の属性を示す情報を、推定部12および記述部13のそれぞれへ出力する。
【0046】
次に、推定部12は、映像記録の主体者と、映像に映る人物との関係を推定する(S102)。映像記録の主体者と、映像に映る人物との関係についての推定結果を、記述部13へ出力する。
【0047】
続いて、記述部13は、映像記録の主体者の属性、および、主体者と人物との関係に基づいて、映像に関する記述を生成する(S103)。
【0048】
以上で、本実施形態1に係る記録作成装置10の動作は終了する。
【0049】
(変形例)
図5を参照して、本実施形態1の一変形例について説明する。
図5は、本実施形態1の一変形例に係る記録作成装置10Aの構成を示すブロック図である。
【0050】
本変形例では、記述部13は、映像記録の主体者と関連付けられたデータを用いて、主体者らしい表現を学習する学習部131を備えている。
【0051】
例えば、学習部131は、映像記録の主体者の属性を示す情報を特定部11から取得し、主体者の属性と同一または類似の属性を有する人物が記述した文章を、SVM(Support Vector Machine)による機械学習等の学習手法で習得する。他の一例では、学習部131は、映像記録の主体者と関連付けられたデータの中から、映像記録の主体者が記述した文章を抽出して、抽出した文章を学習する。
【0052】
そして、記述部13は、学習部131による学習結果を用いて、より主体者らしい表現となるように、映像に関する記述を修正する。言い換えれば、記述部13は、映像記録の主体者の個性が現れるように、映像に関する記述を修正する。
【0053】
本変形例に構成によれば、映像に関する修正後の記述には、映像記録の主体者らしさが反映されるので、これにより、映像記録中の記述において、映像記録の主体者の個性を表現できる。
【0054】
(本実施形態の効果)
本実施形態の構成によれば、特定部11は、映像記録の主体者の属性を特定する。推定部12は、主体者と、映像に映る人物との関係を推定する。記述部13は、特定した主体者の属性、および、主体者と人物との関係に基づいて、映像に関する記述を生成する。映像に関する記述には、特定した主体者の属性、および、主体者と人物との関係が反映されるので、これにより、映像記録中の記述において、映像記録の主体者の個性を表現できる。
【0055】
〔実施形態2〕
図6から
図7を参照して、実施形態2について説明する。本実施形態2では、映像に関する記述として、映像に映る人物以外の事物に関する記述を生成する構成を説明する。
【0056】
本実施形態2では、前記実施形態1と同じ構成に対して、同じ符号を付して、その構成についての前記実施形態1における説明を引用する。
【0057】
(記録作成装置20の構成)
図6を参照して、実施形態2に係る記録作成装置20の構成を説明する。
図6は、記録作成装置20の構成を示すブロック図である。
【0058】
図6に示すように、記録作成装置20は、特定部11、推定部12、および記述部13を備えている。記録作成装置20は、検索部25をさらに備えている。
【0059】
第1の例では、検索部25は、人物記録の主体者の属性に応じて、映像に映る特徴的な事物に関する情報を検索する。検索部25は、検索手段の一例である。
【0060】
例えば、人物記録の主体者が「昆虫好き」(例えば、趣味が昆虫の観察や採集)であり、かつ、映像中には、映像に映る人物の他に、昆虫の「ハグロトンボ」が写っていたとする。この場合、検索部25は、まず、既知のオブジェクト検出手法によって、映像から「ハグロトンボ」を検出すると、「ハグロトンボ」の画像をクエリとして、インターネット検索を実行する。そして、検索部25は、「ハグロトンボ」に関する情報の検索結果を、記述部13へ出力する。
【0061】
記述部13は、映像に映る特徴的な事物に関する情報の検索結果に基づいて、特徴的な事物に関する記述を生成する。
【0062】
例えば、記述部13は、検索部25から、「ハグロトンボ」に関する情報の検索結果として、「(ハグロトンボは)生息域が山岳地の絶滅危惧種のトンボ」であるという情報を受信する。このとき、検索部25は、「ハグロトンボ」に関する情報の検索結果に基づいて、「ハグロトンボという生息域が山岳地の絶滅危惧種のトンボがいた。」という記述を生成する。
【0063】
他の一例では、記述部13は、映像に映る食品やレストランの位置情報や料理のコメント情報を関連付けて、主体者の食事を分析し、分析結果に基づいて、記述を生成してもよい。さらに他の一例では、記述部13は、測位情報、時刻情報、および天気情報を関連付けて、主体者の行動や状況を分析し、分析結果に基づいて、記述を生成してもよい。
【0064】
第2の例では、検索部25は、人物記録の主体者の属性に応じて、主体者の属性と関係する時事情報を検索する。
【0065】
例えば、映像記録の主体者が「人工知能の研究者」であったとする。この場合、検索部25は、人工知能の研究に関わるキーワードをクエリとして、インターネット検索を実行する。そして、検索部25は、映像中の「人工知能の研究」に関する時事情報の検索結果を、記述部13へ出力する。
【0066】
記述部13は、映像記録の主体者の属性と関係する時事情報の検索結果に基づいて、時事情報についての記述を生成する。
【0067】
例えば、記述部13は、検索部25から、「人工知能の研究」に関する時事情報の検索結果として、「革新的な進展があった」というニュースの情報を受信する。このとき、検索部25は、「人工知能の研究」に関する情報の検索結果に基づいて、「人工知能の研究分野において、革新的な進展があった。」という記述を生成する。他の一例では、記述部13は、映像記録の主体者の宿泊施設を示す情報、位置情報、および移動情報を組み合わせて、主体者の旅程を分析し、分析結果に基づいて、記述を生成してもよい。
【0068】
(記録作成装置20の動作)
図7を参照して、本実施形態2に係る記録作成装置20の動作を説明する。
図7は、記録作成装置20の動作を示すフローチャートである。
【0069】
図7に示すように、まず、特定部11は、映像記録の主体者の属性を特定する(S201)。特定部11は、特定した主体者の属性を示す情報を、推定部12および記述部13のそれぞれへ出力する。
【0070】
次に、推定部12は、映像記録の主体者と、映像に映る人物との関係を推定する(S202)。映像記録の主体者と、映像に映る人物との関係についての推定結果を、記述部13へ出力する。
【0071】
続いて、記述部13は、映像記録の主体者の属性、および、主体者と人物との関係に基づいて、映像に関する記述を生成する(S203)。
【0072】
その後、検索部25は、人物記録の主体者の属性に応じて、映像に映る特徴的な事物に関する情報を検索する(S204)。そして、記述部13は、映像に映る特徴的な事物に関する情報の検索結果に基づいて、特徴的な事物に関する記述を生成する(S205)。
【0073】
あるいは、ステップS204に代えて、検索部25は、人物記録の主体者の属性に応じて、主体者の属性と関係する時事情報を検索する。そして、ステップS205に代えて、記述部13は、映像記録の主体者の属性と関係する時事情報の検索結果に基づいて、時事情報についての記述を生成する。
【0074】
なお、上述した記録作成装置20の動作において、ステップS201からS203までと、ステップS204からS205までの順序は逆であってもよい。いずれの順序であっても、記述部13は、映像に関する記述と、特徴的な事物あるいは時事情報についての記述を生成する。
【0075】
以上で、本実施形態2に係る記録作成装置20の動作は終了する。
【0076】
(本実施形態の効果)
本実施形態の構成によれば、特定部11は、映像記録の主体者の属性を特定する。推定部12は、主体者と、映像に映る人物との関係を推定する。記述部13は、特定した主体者の属性、および、主体者と人物との関係に基づいて、映像に関する記述を生成する。映像に関する記述には、特定した主体者の属性、および、主体者と人物との関係が反映されるので、これにより、映像記録中の記述において、映像記録の主体者の個性を表現できる。
【0077】
さらに、本実施形態の構成によれば、検索部25は、人物記録の主体者の属性に応じて、映像に映る特徴的な事物に関する情報を検索する。記述部13は、映像に映る特徴的な事物に関する情報の検索結果に基づいて、特徴的な事物に関する記述を生成する。
【0078】
あるいは、本実施形態の構成によれば、検索部25は、人物記録の主体者の属性に応じて、主体者の属性と関係する時事情報を検索する。記述部13は、主体者の属性と関係する時事情報の検索結果に基づいて、時事情報についての記述を生成する。
【0079】
これにより、人物記録には、人物記録の主体者の属性に応じて、主体者の個性が反映された記述が人物記録に追加されるため、映像記録中の記述において、映像記録の主体者の個性をより表現できる。
【0080】
〔実施形態3〕
図8から
図13を参照して、実施形態3について説明する。本実施形態3では、人物記録の主体者の属性を選択可能にする構成を説明する。
【0081】
本実施形態3では、前記実施形態1~2と同じ構成に対して、同じ符号を付して、その構成についての前記実施形態1~2における説明を引用する。
【0082】
(記録作成装置30の構成)
図8を参照して、実施形態3に係る記録作成装置30の構成を説明する。
図8は、記録作成装置30の構成を示すブロック図である。
【0083】
図8に示すように、記録作成装置30は、特定部11、推定部12、および記述部13を備えている。記録作成装置30は、選択部35をさらに備えている。
【0084】
選択部35は、人物記録の主体者の属性を選択することを受け付ける。選択部35は、選択手段の一例である。
【0085】
例えば、ディスプレイデバイス200(
図1)あるいは任意のユーザデバイスに対して、人物記録の所有者や管理者等により、人物記録の主体者を変更するための所定の操作が行われる。このとき、ディスプレイデバイス200(
図1)あるいは任意のユーザデバイスから、記録作成装置30に対して、人物記録の主体者の属性を変更するための所定の操作が行われたことが通知される。
【0086】
選択部35は、所定の操作が行われたという通知に応じて、ディスプレイデバイス200あるいは任意のユーザデバイスの表示部に、人物記録の主体者の属性を選択させる画面を表示する。そして、選択部35は、人物記録の所有者や管理者等から、人物記録の主体者の属性の選択を受け付ける。このようにして、人物記録の主体者を変更するための所定の操作に応じて、人物記録の主体者の属性が選択される。
【0087】
選択部35は、選択された主体者の属性を示す情報を、特定部11へ出力する。
【0088】
特定部11は、選択部35から、選択された主体者の属性を示す情報を受信して、選択結果に応じて、映像記録の主体者の属性を特定し直す。例えば、主体者の元の属性が、「父」であったとする。一方、選択された主体者の属性が「子」であったとする。この場合、特定部11は、主体者の属性が「父」から「子」に変更されたと特定し直す。なお、主体者の元の属性が特定されていなかった場合、選択された主体者の属性が、主体者の元の属性となる。
【0089】
(記録作成装置30の動作)
図9を参照して、本実施形態3に係る記録作成装置30の動作を説明する。
図9は、記録作成装置30の動作を示すフローチャートである。
【0090】
図9に示すように、選択部35は、映像記録の主体者の属性を選択することを受け付ける(S301)。選択部35は、選択された主体者の属性を示す情報を、特定部11へ出力する。
【0091】
その後、特定部11は、主体者の属性の選択結果に基づいて、映像記録の主体者の属性を特定する(S302)。特定部11は、特定した主体者の属性を示す情報を、推定部12および記述部13のそれぞれへ出力する。
【0092】
次に、推定部12は、映像記録の主体者と、映像に映る人物との関係を推定する(S303)。映像記録の主体者と、映像に映る人物との関係についての推定結果を、記述部13へ出力する。
【0093】
続いて、記述部13は、映像記録の主体者の属性、および、主体者と人物との関係に基づいて、映像に関する記述を生成する(S304)。
【0094】
以上で、本実施形態3に係る記録作成装置30の動作は終了する。
【0095】
(映像記録の主体者の属性の選択方法の一例)
図10~
図13を参照して、映像記録の主体者の属性の選択方法の一例を説明する。
【0096】
図10は、映像記録の主体者が元の属性(ここでは「父」とする)であるときに、ディスプレイデバイス200(
図1)の表示部に表示される映像記録の一例を示す。
図10に示す映像記録では、映像記録の主体者の属性が「父」すなわち大人であることに対応して、標準的な文章が記述されている。
【0097】
図11は、人物記録の主体者の属性を選択させる画面の一例を示す。上述したように、選択部35は、所定の操作が行われたという通知に応じて、ディスプレイデバイス200あるいは任意のユーザデバイスの表示部に、人物記録の主体者の属性を選択させる画面を表示する。
【0098】
そして、選択部35は、人物記録の所有者や管理者等から、人物記録の主体者の属性の選択を受け付ける。
図11に示す例では、選択肢は、「子供」、「父」、「祖父母」、および「母」を含む。ここでは、選択された主体者の属性が「子供」であったとする。
【0099】
さらに、選択部35は、人物記録の所有者や管理者等から、人物記録の主体者の属性の詳細の選択を受け付けてもよい。
【0100】
図12は、人物記録の主体者の属性の詳細を選択させる画面の一例を示す。ここでは、選択された主体者の属性が「子供」であるため、選択部35は、いくつかの選択肢の中から、「子供」の年齢の選択を受け付ける。
図12に示す例では、選択肢は、「未就学児」、「小学生の低学年」、「小学生の高学年」、および「中高生」を含む。
【0101】
ここでは、選択された主体者の属性が「小学生の低学年」であったとする。特定部11は、主体者の属性の選択結果に基づいて、映像記録の主体者の属性を特定する。記述部13は、主体者の属性に基づいて、映像に関する記述を作成する。
【0102】
図13は、映像記録の主体者の属性が「小学生の低学年」であるときに、ディスプレイデバイス200(
図1)の表示部に表示される映像記録の一例を示す。
図13に示す映像記録では、映像記録の主体者の属性が「小学生の低学年」であることに対応して、ひらがなの多い漢字仮名交じりの文章が記述されている。
【0103】
このようにして、人物記録の主体者の属性が選択されたとき、選択された人物記録の主体者の属性によって、
図10および
図13に例示するように、映像記録の記述部分が変化する。これにより、映像記録の主体者の属性を変更したいという要望に対応することができる。
【0104】
なお、
図11および
図12に示す属性の選択肢は単なる一例である。その他の属性の選択肢として、「会社員」と「自営業」、「社会人」と「学生」、「成年」と「未成年」などがありうる。
【0105】
(本実施形態の効果)
本実施形態の構成によれば、特定部11は、映像記録の主体者の属性を特定する。推定部12は、主体者と、映像に映る人物との関係を推定する。記述部13は、特定した主体者の属性、および、主体者と人物との関係に基づいて、映像に関する記述を生成する。映像に関する記述には、特定した主体者の属性、および、主体者と人物との関係が反映されるので、これにより、映像記録中の記述において、映像記録の主体者の個性を表現できる。
【0106】
さらに、本実施形態の構成によれば、選択部35は、人物記録の主体者を選択することを受け付ける。特定部11は、選択された主体者の属性を特定する。これにより、映像記録の主体者の属性を変更したいという要望に対応することができる。
【0107】
〔ハードウェア構成〕
前記実施形態1~3で説明した記録作成装置10、10A、20、30の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば
図14に示すような情報処理装置により実現される。
図14は、情報処理装置のハードウェア構成の一例を示すブロック図である。
【0108】
図14に示すように、コンピュータ110は、CPU(Central Processing Unit)111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。なお、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU(Graphics Processing Unit)、又はFPGA(Field-Programmable Gate Array)を備えていてもよい。
【0109】
CPU111は、記憶装置113に格納された、本実施形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)などの揮発性の記憶装置である。また、本実施形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであってもよい。
【0110】
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリなどの半導体記憶装置があげられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
【0111】
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
【0112】
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)などの汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)などの磁気記録媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記録媒体があげられる。
【0113】
〔付記〕
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0114】
(付記1)
映像記録の主体者の属性を特定する特定手段と、
前記主体者と、映像に映る人物との関係を推定する推定手段と、
特定した前記主体者の属性、および、前記主体者と前記人物との関係に基づいて、前記映像に関する記述を生成する記述手段と
を備えた記録作成装置。
【0115】
(付記2)
前記特定手段は、
前記映像記録の前記主体者と関連付けられたデータを用いて、前記主体者の属性を特定する
ことを特徴とする付記1に記載の記録作成装置。
【0116】
(付記3)
前記特定手段は、
前記映像に付加されたタグ情報を用いて、前記主体者の属性を特定する
ことを特徴とする付記1に記載の記録作成装置。
【0117】
(付記4)
前記推定手段は、前記映像記録の前記主体者と関連付けられたデータから、前記主体者と、前記映像に映る前記人物との関係を推定する
ことを特徴とする付記1に記載の記録作成装置。
【0118】
(付記5)
前記記述手段は、前記映像記録の前記主体者の属性に応じた文字種または言葉を使い、前記映像に関する前記記述を生成する
ことを特徴とする付記1に記載の記録作成装置。
【0119】
(付記6)
前記記述手段は、
前記映像記録の前記主体者と関連付けられたデータを用いて、前記主体者らしい表現を学習する学習手段を備え、前記学習手段による学習結果を用いて、より前記主体者らしい表現となるように、前記映像に関する前記記述を修正する
ことを特徴とする付記1に記載の記録作成装置。
【0120】
(付記7)
前記映像記録の前記主体者の属性に応じて、前記映像に映る特徴的な事物に関する情報を検索する検索手段をさらに備え、
前記記述手段は、前記映像に映る前記特徴的な事物に関する情報の検索結果に基づいて、前記特徴的な事物に関する記述を生成する
ことを特徴とする付記1から6のいずれか1項に記載の記録作成装置。
【0121】
(付記8)
前記映像記録の前記主体者の属性に応じて、前記主体者の属性と関係する時事情報を検索する検索手段をさらに備え、
前記記述手段は、前記主体者の属性と関係する前記時事情報の検索結果に基づいて、前記時事情報についての記述を生成する
ことを特徴とする付記1から6のいずれか1項に記載の記録作成装置。
【0122】
(付記9)
前記映像記録の前記主体者の属性を選択することを受け付ける選択手段をさらに備え、
前記特定手段は、選択された属性を前記主体者の属性として特定する
ことを特徴とする付記1から6のいずれか1項に記載の記録作成装置。
【0123】
(付記10)
映像記録の主体者の属性を特定する特定手段と、
前記主体者と、映像に映る人物との関係を推定し、
特定した前記主体者の属性、および、前記主体者と前記人物との関係に基づいて、前記映像に関する記述を生成する記述手段と
を備えた記録作成装置と、
前記映像と、前記映像に関する前記記述とを表示する表示装置と、
前記映像記録の前記主体者と関連付けられたデータを保存するサーバと、
を備えたシステム。
【0124】
(付記11)
コンピュータが、
映像記録の主体者の属性を特定し、
前記主体者と、映像に映る人物との関係を推定し、
特定した前記主体者の属性、および、前記主体者と前記人物との関係に基づいて、前記映像に関する記述を生成する
映像記録作成方法。
【0125】
(付記12)
映像記録の主体者の属性を特定することと、
前記主体者と、映像に映る人物との関係を推定することと、
特定した前記主体者の属性、および、前記主体者と前記人物との関係に基づいて、前記映像に関する記述を生成することと
をコンピュータに実行させるためのプログラム。
【0126】
以上、図面を参照して、本発明の実施形態を詳述してきたが、本発明を実施するための具体的な構成はこれらの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0127】
1 システム
10 記録作成装置
10A 記録作成装置
11 特定部
12 推定部
13 記述部
20 記録作成装置
25 検索部
30 記録作成装置
35 選択部
100 サーバ
200 ディスプレイデバイス