特開 2024-168518 記録装置およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168518

(43)【公開日】2024-12-05

(54)【発明の名称】記録装置およびプログラム

(51)【国際特許分類】

   H04N 5/92 20060101AFI20241128BHJP

   H04N 23/60 20230101ALI20241128BHJP

   H04N 5/765 20060101ALI20241128BHJP

【ＦＩ】

H04N5/92 010

H04N23/60 300

H04N5/765

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023085268

(22)【出願日】2023-05-24

(11)【特許番号】

(45)【特許公報発行日】2024-10-29

(71)【出願人】

【識別番号】000002897

【氏名又は名称】大日本印刷株式会社

(74)【代理人】

【識別番号】100096091

【弁理士】

【氏名又は名称】井上 誠一

(72)【発明者】

【氏名】北村 千夏

【テーマコード（参考）】

5C122

【Ｆターム（参考）】

5C122DA04

5C122DA09

5C122EA59

5C122FH14

5C122FK24

5C122GA31

5C122GA34

5C122HA05

5C122HA13

5C122HA35

5C122HA75

5C122HB01

(57)【要約】

【課題】写真等の利用促進につながる記録装置等を提供する。
【解決手段】ユーザ端末２は、写真をディスプレイに表示する表示手段２１０と、ディスプレイに表示された写真を見た時の感情に基づくユーザの受動的な反応データを取得する取得手段２２０と、反応データに基づき、写真を見た時のユーザの反応結果を当該写真と紐づけて記録する記録手段２３０と、を有する。反応データは例えばユーザの生体情報であり、取得手段２２０は、ユーザに装着したウェアラブルデバイス３から反応データを受信する。
【選択図】図４

【特許請求の範囲】

【請求項1】

ディスプレイに表示された画像を見た時の感情に基づくユーザの受動的な反応データを取得する取得手段と、
前記反応データに基づき、前記画像を見た時のユーザの反応結果を前記画像と紐づけて記録する記録手段と、
を有することを特徴とする記録装置。

【請求項2】

前記反応データはユーザの生体情報であり、
前記取得手段は、ユーザに装着したウェアラブルデバイスから前記反応データを受信することを特徴とする請求項１記載の記録装置。

【請求項3】

前記反応データはユーザの表情を示すユーザの撮影画像であり、
前記取得手段は、ユーザを撮影してその撮影画像を取得することを特徴とする請求項１記載の記録装置。

【請求項4】

前記記録装置は、前記ディスプレイを備えた携帯端末であることを特徴とする請求項１記載の記録装置。

【請求項5】

コンピュータを、
ディスプレイに表示された画像を見た時の感情に基づくユーザの受動的な反応データを取得する取得手段と、
前記反応データに基づき、前記画像を見た時のユーザの反応結果を前記画像と紐づけて記録する記録手段と、
を有する記録装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、写真等の画像の有効利用を促進するための記録装置等に関する。

【背景技術】

【0002】

写真撮影がデジタル化し、撮影数が膨大になるにつれ、いい写真をプリントしたり、フォトブックにまとめたりする作業が大掛かりになり、せっかく撮った写真がうもれてしまうことも多い。

【0003】

これに対し、特許文献１には、写真のピントの鮮鋭さや構図の良さ、被写体の笑顔度といった客観的尺度を用いて「いい写真」を簡単に検索できるシステムについて開示されており、撮影した写真を有効利用する助けとなっている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2007-097090号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、実際に写真を見たときにときめいたり、キュンとしたり、過去の思い出を呼び起こしたりする対象は、前記のような客観的尺度によって分析された「いい写真」と合致するとは限らない。

【0006】

例えば、ピントがあっておらずぶれた写真に躍動感を感じたり、画像にはみ出した子供の顔に愛着を持ったりすることもある。また子供が泣いている写真でも、その子供の親にとっては笑顔と同じくらい愛おしい感情を呼び起こすこともあり、これらの写真の重要性を、ピントや構図、笑顔度等を基準とした客観的尺度で測ることは難しい。

【0007】

写真を見て感じたときめきやキュンとする気持ち、思い出等を写真とともに記憶し、写真を見るたびに呼び起こすことこそが、写真の価値ともいえるが、従来の技術では、これらの主観的な重要性を有する写真を有効に検索したり抽出したりすることはできず、写真の利用促進の面では課題があった。

【0008】

本発明は上記の課題に鑑みてなされたものであり、写真等の利用促進につながる記録装置等を提供することを目的とする。

【課題を解決するための手段】

【0009】

前述した課題を解決するための第１の発明は、ディスプレイに表示された画像を見た時の感情に基づくユーザの受動的な反応データを取得する取得手段と、前記反応データに基づき、前記画像を見た時のユーザの反応結果を前記画像と紐づけて記録する記録手段と、を有することを特徴とする記録装置である。

【0010】

本発明では、写真等の画像を見た人の感情から来る受動的な反応データを取得し、その人が画像を見た時の反応結果を画像と紐づけて記録する。同じ画像であっても見る人によって反応は異なり、またその反応は画像の客観的尺度による評価とも相違することが多く、本発明では、画像を見てときめいた、キュンとした、過去の思い出が呼び起こされたなどユーザの感情的（主観的）な評価を画像に付与することで、これらの評価に基づいて画像を後から検索したり、抽出したりすることが可能になり、画像の有効利用に寄与する。またユーザは写真を見るだけで良く、感想をテキスト入力したり「いいね」ボタンを押したりするなどの能動的な行動が不要なので、操作も簡単である。

【0011】

前記反応データはユーザの生体情報であり、前記取得手段は、ユーザに装着したウェアラブルデバイスから前記反応データを受信することが望ましい。
前記の反応データは、例えばユーザの体温や心拍数などの生体情報とすることができ、ユーザが特に意識しない反応も記録することができる。

【0012】

前記反応データはユーザの表情を示すユーザの撮影画像であり、前記取得手段は、ユーザを撮影してその撮影画像を取得することが望ましい。
反応データはユーザの表情を示す撮影画像でもよく、この場合は、既知の画像認識技術等を用い、撮影画像からユーザの感情の種類を判別し、反応結果として記録することもできる。

【0013】

前記記録装置は、前記ディスプレイを備えた携帯端末であることも望ましい。
記録装置は、例えばスマートフォン等のディスプレイを備えた携帯端末とすることができ、スマートフォン等で表示した画像について、ユーザの反応結果を記録することができる。

【0014】

第２の発明は、コンピュータを、ディスプレイに表示された画像を見た時の感情に基づくユーザの受動的な反応データを取得する取得手段と、前記反応データに基づき、前記画像を見た時のユーザの反応結果を前記画像と紐づけて記録する記録手段と、を有する記録装置として機能させるためのプログラムである。

【発明の効果】

【0015】

本発明により、写真等の利用促進につながる記録装置等を提供することができる。

【図面の簡単な説明】

【0016】

【図1】記録システム１を示す図。

【図2】ユーザ端末２の構成を示す図。

【図3】ウェアラブルデバイス３の構成を示す図。

【図4】記録システム１の機能を示す図。

【図5】記録システム１における処理を示すフローチャート。

【図6】サーバ４を含むシステム例。

【図7】ユーザの撮影画像を反応データとする場合のフローチャート。

【発明を実施するための形態】

【0017】

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。

【0018】

（１．記録システム１）
図１は、本発明の記録装置の実施形態に係るユーザ端末２を含む記録システム１を示す図である。記録システム１は、ユーザ端末２のディスプレイに表示された画像を見た時のユーザの反応結果を当該画像と紐づけて記録するものであり、図１に示すように、ユーザ端末２とウェアラブルデバイス３とを通信可能に接続した構成を有する。

【0019】

ユーザ端末２はユーザの所持する端末であり、上記反応結果の記録に関する各種の処理を行うコンピュータ（コンピュータ端末）である。本実施形態では、ユーザ端末２として、スマートフォン、タブレット端末などの携帯端末が用いられる。

【0020】

図２はユーザ端末２の構成を示す図である。図２に示すように、ユーザ端末２は、制御部２１、記憶部２２、ディスプレイ２３、入力部２４、通信部２５、カメラ２６、音声入出力部２７等をバス等により接続して構成される。ただし、ユーザ端末２はこれに限ることなく、適宜様々な構成をとることができる。

【0021】

制御部２１は、CPU、ROM、RAMなどから構成される。CPUは、記憶部２２、ROMなどの記憶媒体に格納されたユーザ端末２の処理に係るプログラムをRAM上のワークエリアに呼び出して実行し、ユーザ端末２の各部を制御して後述する処理を実現する。ROMは不揮発性メモリであり、ブートプログラムやBIOSなどのプログラム、データなどを恒久的に保持している。RAMは揮発性メモリであり、記憶部２２、ROMなどからロードしたプログラムやデータを一時的に保持するとともに、制御部２１が各種処理を行うために使用するワークエリアを備える。

【0022】

記憶部２２はフラッシュメモリ等であり、後述する処理に際しユーザ端末２が実行するプログラム、プログラム実行に必要なデータ、OS（オペレーションシステム）等が格納される。これらのプログラムやデータは、制御部２１により必要に応じて読み出され、実行される。

【0023】

ディスプレイ２３は例えば液晶パネル等であり、入力部２４を兼ねたタッチパネル付ディスプレイとして実現される。ディスプレイ２３は、ユーザ端末２の操作、選択に係る各種の画面を表示し、画面上のタッチパネル操作によるユーザの指示入力等を受付ける。

【0024】

通信部２５は、無線通信等による通信を媒介する通信インタフェースであり、ウェアラブルデバイス３等との間で通信を行う。

【0025】

カメラ２６はCCD(Charged Coupled Device)等の撮像素子を有するエリアカメラであり、音声入出力部２７は、音声入力を行うためのマイクや音声出力を行うためのスピーカーを備える。

【0026】

図１の説明に戻る。ウェアラブルデバイス３はユーザが装着して用いる端末であり、例えばリストバンド型あるいは腕時計型の端末である。ただし、ウェアラブルデバイス３はこれに限らず、イヤホン型、イヤリング型、ブレスレット型、ヘッドギア型、メガネ型の端末等を用いることもできる。

【0027】

図３はウェアラブルデバイス３の構成を示す図である。図３に示すように、ウェアラブルデバイス３は、メインコントローラ３１、ディスプレイ３２、体温センサ３３、心拍センサ３４、無線モジュール３５等を有する。

【0028】

メインコントローラ３１は、ウェアラブルデバイス３全体の制御を行う制御部であり、CPU、ROM、RAM、メモリなどを有する。CPU、ROM、RAMについては前記したものと略同様である。メモリには、ウェアラブルデバイス３の各種の設定情報やウェアラブルデバイス３で測定した測定データ等が格納される。

【0029】

ディスプレイ３２は、小型液晶パネルや電子ペーパーなどの簡易ディスプレイである。

【0030】

体温センサ３３と心拍センサ３４は、ウェアラブルデバイス３を装着したユーザの生体情報として、ユーザの体温と心拍数をそれぞれ測定する。体温センサ３３や心拍センサ３４には既知のセンサを用いることができる。

【0031】

無線モジュール３５は、ユーザ端末２との間で無線通信を行い、ユーザ端末２に上記のセンサ３３、３４による測定データの送信を行うための通信部であり、アンテナ等を備える。

【0032】

（２．記録システム１の機能）
図４は、記録システム１の機能を示すブロック図である。図４に示すように、記録システム１において、ユーザ端末２（記録装置）は、表示手段２１０、取得手段２２０、記録手段２３０等を有する。

【0033】

表示手段２１０は、ユーザ端末２の制御部２１が、記憶部２２に格納された写真（静止画像）をディスプレイ２３に表示させるものである。

【0034】

取得手段２２０は、ユーザ端末２の制御部２１が、ディスプレイ２３に表示された写真を見た時の感情に基づくユーザの受動的な反応データを取得するものである。受動的な反応データとは、感想をテキスト入力したり「いいね」ボタンを押したりするなどの能動的な行動を伴わない反応を示すデータである。この反応データは例えば前記したユーザの生体情報であるが、ユーザの感情に基づくものであれば特に限定されない。

【0035】

記録手段２３０は、ユーザ端末２の制御部２１が、上記の反応データに基づき、写真を見た時のユーザの反応結果を当該写真と紐づけて記録するものである。

【0036】

（３．記録システム１の処理）
次に、図５等を参照し、記録システム１で実行される処理について説明する。図５は記録システム１における処理を示すフローチャートであり、図５の各処理は、ユーザ端末２の制御部２１がユーザ端末２の各部を制御して実行する。

【0037】

本実施形態において、ユーザ端末２は、ユーザの操作に応じてアプリケーションを起動し、記憶部２２に格納された写真をディスプレイ２３に表示する（Ｓ１）。

【0038】

ユーザは、ディスプレイ２３に表示された画像を眺める。この時、ウェアラブルデバイス３はユーザの生体情報を継時的に測定しており、測定された生体情報をユーザ端末２に送信する。ユーザ端末２は、その生体情報を反応データとして受信し、取得する（Ｓ２）。前記したように、生体情報は、体温センサ３３で測定される体温や心拍センサ３４で測定される心拍数であるが、これらに限定されることはない。例えば脳波等であってもよい。

【0039】

ユーザ端末２は反応データを解析し（Ｓ３）、反応データがユーザの喜び、驚き、落ち着きなどの感情を現すものである場合（Ｓ４；ＹＥＳ）、ユーザが写真を見た時にその感情を生じた旨の情報を反応結果として写真に紐づけて記録する（Ｓ５）。生体情報がユーザの感情を特に現すものでない場合は（Ｓ４；ＮＯ）、そのままＳ６の処理に移行する。

【0040】

反応データの解析および判定の手法は特に限定されないが、例えば、Ｓ３において前記した反応データの値やその時間変化量を所定の閾値と比較し、Ｓ４において、反応データの値やその時間変化量が閾値以上であれば、その閾値に対応する感情（例えば、喜び等）が反応データに現れていると判定できる。あるいは、反応データの値等が閾値未満である場合に、その閾値に対応する感情（例えば、落ち着き等）が反応データに現れていると判定してもよい。また２種類以上の生体情報を組み合わせて解析および判定に用いてもよいし、１種類の生体情報を解析および判定に用いてもよい。

【0041】

ユーザ端末２は、表示対象の全ての写真を表示するまで（Ｓ６；ＮＯ）、Ｓ１からＳ５の処理を繰り返し、全ての写真を表示すれば（Ｓ６；ＹＥＳ）、処理を終了する。

【0042】

こうして記録された反応結果は、写真の検索・抽出等に利用することができる。例えば喜び等の感情を閲覧者にもたらした写真を、上記反応結果をキーとして容易に検索・抽出し、フォトブック等としてまとめることができる。また写真の付加価値として、閲覧者の感情を記録することにより、閲覧者が亡くなったあとに残された写真に対する思いを知ることもできる。また、著名人やスポーツ選手などを閲覧者とすることで、著名人やスポーツ選手等の感情という付加価値付きの写真を販売等することも可能となる。

【0043】

以上説明したように、本実施形態では、写真を見た人の感情から来る受動的な反応データを取得し、その人が写真を見た時の反応結果を写真と紐づけて記録する。同じ写真であっても見る人によって反応は異なり、またその反応は写真の客観的尺度による評価とも相違することが多く、本実施形態では、写真を見てときめいた、キュンとした、過去の思い出が呼び起こされたなどユーザの感情的（主観的）な評価を写真に付与することで、これらの評価に基づいて写真を後から検索したり、抽出したりすることが可能になり、写真の有効利用に寄与する。またユーザはたくさんの写真を一通り見るだけで良く、感想をテキスト入力したり「いいね」ボタンを押したりするなどの能動的な行動が不要なので、操作も簡単である。

【0044】

また本実施形態では、上記の反応データをユーザの体温や心拍数などの生体情報とすることで、ユーザが特に意識しない反応も記録することができる。

【0045】

しかしながら、本発明は上記の実施形態に限定されない。例えば本実施形態ではユーザ端末２に格納された写真を表示しているが、図６に示すように、ユーザ端末２とネットワークを介して接続されたサーバ４（コンピュータ）にユーザのアカウント等と紐づけて写真を格納しておき、この写真をユーザ端末２に送信してディスプレイ２３に表示するようにしてもよい。

【0046】

この場合、ユーザ端末２がウェアラブルデバイス３から反応データを受信して反応結果の記録要求をサーバ４に行うか、サーバ４がユーザ端末２から（ウェアラブルデバイス３で測定した）反応データを受信して反応結果の記録を行う。前者の場合、ユーザ端末２が本発明の記録装置として機能し、後者の場合、サーバ４が本発明の記録装置として機能する。

【0047】

また本実施形態では、ユーザの受動的な反応データとしてウェアラブルデバイス３によって測定した生体情報を用いているが、現在では人の表情を撮影した撮影画像から感情を分析するＡＩ（人工知能）などを用いた画像認識技術に関する研究も進んでいる。そのため、生体情報の代わりに、ユーザ端末２のカメラ２６でユーザの表情を撮影した撮影画像を用いることもできる。

【0048】

この場合のフローが図７であり、前記した図５のフローと比較すると、ウェアラブルデバイス３から反応データを受信する（図５のＳ２参照）代わりに、ユーザ端末２がカメラ２６を起動してユーザの表情を撮影し、その撮影画像を反応データとして取得する（図７のＳ２’）点で異なる。Ｓ３では前記の画像認識技術を用いて撮影画像におけるユーザの表情を解析し、何らかの感情を示すものであるか否かをＳ４において判定すればよい。ユーザの表情に何らかの感情が示されている場合、その感情の種類（喜び、驚き、落ち着き等）を判別し、その結果を反応結果として記録することもできる。

【0049】

また本実施形態では、スマートフォン等のユーザ端末２で表示した写真について、ユーザの反応結果を記録することができるが、ユーザ端末２からヘッドマウントディスプレイなどのウェアラブルデバイス３に写真を送信して表示させることも可能であり、当該ウェアラブルデバイス３でユーザの表情を撮影し、その撮影画像を反応データとしてユーザ端末２に送信することも可能である。またユーザの撮影画像からは、瞳孔の大きさなどの生体情報を反応データとして取得することも可能である。

【0050】

また本実施形態では写真（静止画像）を表示し、写真に対する反応結果を写真と紐づけて記録したが、写真ではなく動画（動画像）を表示し、動画に対する反応結果を動画と紐づけて記録してもよい。

【0051】

以上、添付図面を参照して、本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0052】

１：記録システム
２：ユーザ端末
３：ウェアラブルデバイス
４：サーバ
２３、３２：ディスプレイ
２１０：表示手段
２２０：取得手段
２３０：記録手段

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【手続補正書】

【提出日】2024-08-21

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

画像を見た時のユーザの反応結果を前記画像と紐づけて記録する記録装置であって、
ユーザの操作に応じて、前記記録装置の記憶部、または、前記記録装置とネットワークを介して接続されたコンピュータに格納された既存の前記画像をディスプレイに表示する表示手段と、
前記ディスプレイに表示された前記画像を見た時の感情に基づくユーザの受動的な反応データを取得する取得手段と、
前記反応データに基づき、前記画像を見た時のユーザの反応結果を前記画像と紐づけて記録する記録手段と、
を有することを特徴とする記録装置。

【請求項2】

前記反応データはユーザの生体情報であり、
前記取得手段は、ユーザに装着したウェアラブルデバイスから前記反応データを受信することを特徴とする請求項１記載の記録装置。

【請求項3】

前記反応データはユーザの表情を示すユーザの撮影画像であり、
前記取得手段は、ユーザを撮影してその撮影画像を取得することを特徴とする請求項１記載の記録装置。

【請求項4】

前記記録装置は、表示対象の全ての前記画像を表示するまで、前記画像を前記ディスプレイに表示して前記反応データを取得し、前記反応結果を前記画像と紐づけて記録する処理を繰り返すことを特徴とする請求項１記載の記録装置。

【請求項5】

コンピュータを、
画像を見た時のユーザの反応結果を前記画像と紐づけて記録する記録装置であって、
ユーザの操作に応じて、前記記録装置の記憶部、または、前記記録装置とネットワークを介して接続されたコンピュータに格納された既存の前記画像をディスプレイに表示する表示手段と、
前記ディスプレイに表示された前記画像を見た時の感情に基づくユーザの受動的な反応データを取得する取得手段と、
前記反応データに基づき、前記画像を見た時のユーザの反応結果を前記画像と紐づけて記録する記録手段と、
を有する記録装置として機能させるためのプログラム。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】０００９

【補正方法】変更

【補正の内容】

【0009】

前述した課題を解決するための第１の発明は、画像を見た時のユーザの反応結果を前記画像と紐づけて記録する記録装置であって、ユーザの操作に応じて、前記記録装置の記憶部、または、前記記録装置とネットワークを介して接続されたコンピュータに格納された既存の前記画像をディスプレイに表示する表示手段と、前記ディスプレイに表示された前記画像を見た時の感情に基づくユーザの受動的な反応データを取得する取得手段と、前記反応データに基づき、前記画像を見た時のユーザの反応結果を前記画像と紐づけて記録する記録手段と、を有することを特徴とする記録装置である。
前記記録装置は、例えば、表示対象の全ての前記画像を表示するまで、前記画像を前記ディスプレイに表示して前記反応データを取得し、前記反応結果を前記画像と紐づけて記録する処理を繰り返す。

【手続補正3】

【補正対象書類名】明細書

【補正対象項目名】００１４

【補正方法】変更

【補正の内容】

【0014】

第２の発明は、コンピュータを、画像を見た時のユーザの反応結果を前記画像と紐づけて記録する記録装置であって、ユーザの操作に応じて、前記記録装置の記憶部、または、前記記録装置とネットワークを介して接続されたコンピュータに格納された既存の前記画像をディスプレイに表示する表示手段と、前記ディスプレイに表示された前記画像を見た時の感情に基づくユーザの受動的な反応データを取得する取得手段と、前記反応データに基づき、前記画像を見た時のユーザの反応結果を前記画像と紐づけて記録する記録手段と、を有する記録装置として機能させるためのプログラムである。