ホーム > 特許ランキング > クックパッド株式会社
特開2022-40842投稿支援装置、投稿支援方法、および、投稿支援プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022040842
(43)【公開日】2022-03-11
(54)【発明の名称】投稿支援装置、投稿支援方法、および、投稿支援プログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20220304BHJP
G06T 7/00 20170101ALI20220304BHJP
G06F 16/55 20190101ALI20220304BHJP
【ＦＩ】
G06Q50/10
G06T7/00 350B
G06F16/55
【審査請求】有
【請求項の数】7
【出願形態】ＯＬ
(21)【出願番号】P 2020145753
(22)【出願日】2020-08-31
(11)【特許番号】
(45)【特許公報発行日】2022-01-26
(71)【出願人】
【識別番号】506143492
【氏名又は名称】クックパッド株式会社
(74)【代理人】
【識別番号】110002815
【氏名又は名称】ＩＰＴｅｃｈ特許業務法人
(72)【発明者】
【氏名】クリストファー トロット
(72)【発明者】
【氏名】レシェック リビツキ
【テーマコード（参考）】
5B175
5L049
5L096
【Ｆターム（参考）】
5B175DA02
5B175FA03
5L049CC11
5L096AA06
5L096BA08
5L096CA02
5L096DA01
5L096HA09
5L096HA11
5L096JA09
5L096JA11
5L096KA04
(57)【要約】
【課題】情報端末で保持する画像の検索を効率的なものとし、ひいては当該画像の有効活用を図る。
【解決手段】投稿支援装置１０において、複数の画像データを格納する画像格納部１００と、画像中の被写体の種類を判定する学習済モデル１０１１を格納したモデル格納部１０１と、前記複数の画像データそれぞれを学習済モデル１０１１に入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する分類処理部１０２と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する候補提示部１０３を備える構成とする。
【選択図】図２
【解決手段】投稿支援装置１０において、複数の画像データを格納する画像格納部１００と、画像中の被写体の種類を判定する学習済モデル１０１１を格納したモデル格納部１０１と、前記複数の画像データそれぞれを学習済モデル１０１１に入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する分類処理部１０２と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する候補提示部１０３を備える構成とする。
【選択図】図２
【特許請求の範囲】
【請求項1】
複数の画像データを格納する画像格納部と、
画像中の被写体の種類を判定する学習済モデルを格納したモデル格納部と、
前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する分類処理部と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する候補提示部と、
を備える投稿支援装置。
画像中の被写体の種類を判定する学習済モデルを格納したモデル格納部と、
前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する分類処理部と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する候補提示部と、
を備える投稿支援装置。
【請求項2】
前記候補提示部は、
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力するものである、
請求項１に記載の投稿支援装置。
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力するものである、
請求項１に記載の投稿支援装置。
【請求項3】
前記候補提示部は、
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示するものである、
請求項２に記載の投稿支援装置。
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示するものである、
請求項２に記載の投稿支援装置。
【請求項4】
情報処理装置が
複数の画像データと、画像中の被写体の種類を判定する学習済モデルとを保持して、
前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行する投稿支援方法。
複数の画像データと、画像中の被写体の種類を判定する学習済モデルとを保持して、
前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行する投稿支援方法。
【請求項5】
前記情報処理装置が、
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力する、
請求項４に記載の投稿支援方法。
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力する、
請求項４に記載の投稿支援方法。
【請求項6】
前記情報処理装置が、
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示する、
請求項５に記載の投稿支援方法。
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示する、
請求項５に記載の投稿支援方法。
【請求項7】
情報処理装置において、
複数の画像データと、画像中の被写体の種類を判定する学習済モデルとを保持して、
前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行させる投稿支援プログラム。
複数の画像データと、画像中の被写体の種類を判定する学習済モデルとを保持して、
前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行させる投稿支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、投稿支援装置、投稿支援方法、および、投稿支援プログラムに関する。
【背景技術】
【0002】
スマートフォンにおけるカメラ機能の進化に伴い、人々は様々な場面で種々の被写体を手軽に撮影するようになった。特に近年では、自分や家族向けのライフログの一環として、或いはＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｙｓｔｅｍ）やレシピ投稿サイトでの投稿用にと、撮影頻度や撮影機会も益々増加しつつある。
【0003】
例えば、特許文献１には、日々の食事管理などのために、ユーザの摂取した食事の情報として当該ユーザによる撮影画像を入力する技術に関して開示されている。この技術は、画像からの料理認識の精度を維持しつつ、認識にあたって参照されるデータを限定して処理負荷を抑制するものであって、１または複数の料理を撮影した料理画像を取得する画像取得部と、予め登録された料理データから、前記料理画像に関連する人物、前記料理画像の撮影環境、前記料理画像の撮影場所、または前記料理画像の撮影時刻のうちの少なくとも１つに関する条件に基づいて選択された料理データを参照して、前記料理画像に含まれる前記１または複数の料理を認識する第１の料理認識部を備える情報処理装置に関する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１４－８９５６４号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述のようなユーザのスマートフォンには、時間とともに膨大な数の画像が蓄積されていくことになる。一方、ユーザにとって、撮影から時を経るごとに、或いは撮影枚数が多いほど、スマートフォン内の画像は忘却対象となりやすく、その有効活用の範囲も限定的になりがちであった。
【0006】
したがって、ユーザは、その使用目的に合致する画像を、スマートフォン内の膨大な画像群の中から特定することは難しく、そもそも適宜なものにたどり着けない事態にもなりえた。スマートフォンによる手軽な撮影が容易な状況にもかかわらず、それで得られる画像の検索や活用に関する技術の提供は未だ不十分と言える。
【0007】
こうした状況は、ユーザによる画像の入力や投稿が必要となるサービスやアプリケーションのユーザビリティ低下や、それによるサービス満足度低下にもつながりうる。よって、サービス運用者やアプリケーションの提供者にとって、上述の状況は無視できない大きな問題である。
【0008】
そこで本開示の目的は、情報端末で保持する画像の検索を効率的なものとし、ひいては当該画像の有効活用を図る技術を提供することにある。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本開示の一態様における投稿支援装置は、複数の画像データを格納する画像格納部と、画像中の被写体の種類を判定する学習済モデルを格納したモデル格納部と、前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する分類処理部と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する候補提示部と、を備える。
【0010】
また、本開示の一態様における投稿支援装置では、前記候補提示部は、前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力するものである、としてもよい。
【0011】
また、本開示の一態様における投稿支援装置では、前記候補提示部は、複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示するものである、としてもよい。
【0012】
上記目的を達成するために、本開示の一態様における投稿支援方法は、情報処理装置が複数の画像データと、画像中の被写体の種類を判定する学習済モデルとを保持して、前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、を実行するものである。
【0013】
また、本開示の一態様における投稿支援方法では、前記情報処理装置が、前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力する、としてもよい。
【0014】
また、本開示の一態様における投稿支援方法では、前記情報処理装置が、複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示する、としてもよい。
【0015】
上記目的を達成するために、本開示の一態様における投稿支援プログラムは、情報処理装置において、複数の画像データと、画像中の被写体の種類を判定する学習済モデルとを保持して、前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、を実行させるものである。
【発明の効果】
【0016】
本開示によれば、情報端末で保持する画像の検索を効率的なものとし、ひいては当該画像の有効活用を図ることが可能となる。
【図面の簡単な説明】
【0017】
【図1】本実施形態の投稿支援装置を含むネットワーク構成例の図である。
【図2】本実施形態における投稿支援装置の構成例を示す図である。
【図3】本実施形態における投稿サイトシステムの構成例を示す図である。
【図4】本実施形態における画像ＤＢの構成例を示す図である。
【図5】本実施形態におけるモデルＤＢの構成例を示す図である。
【図6】本実施形態における投稿支援方法のフロー例を示す図である。
【図7】本実施形態における投稿支援方法のフロー例を示す図である。
【図8】本実施形態における画面の例を示す図である。
【図9】本実施形態における画面の例を示す図である。
【図10】本実施形態における画面の例を示す図である。
【図11】本実施形態における画面の例を示す図である。
【図12】本実施形態における画面の例を示す図である。
【発明を実施するための形態】
【0018】
＜投稿支援装置を含むネットワーク構成＞
以下に本開示の実施形態について図面を用いて詳細に説明する。図１は、本実施形態の投稿支援装置１０および投稿サイトシステム２０を含むネットワーク構成例の図である。
以下に本開示の実施形態について図面を用いて詳細に説明する。図１は、本実施形態の投稿支援装置１０および投稿サイトシステム２０を含むネットワーク構成例の図である。
【0019】
本実施形態における投稿支援装置１０は、投稿サイトシステム２０が運用する適宜な投稿サイトにアクセスし、少なくとも画像を投稿するユーザの情報処理装置である。なお、投稿サイトの具体的な例としては、例えば、ユーザの作成したレシピの投稿を受け付けて公開するレシピ投稿サイト、ユーザの釣果情報の投稿を受け付けて公開する釣果投稿サイト、或いは、一般的なＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）等を想定しうるが、勿論これらに限定しない。
【0020】
いずれにしても投稿支援装置１０のユーザは、上述のごとき投稿サイトへ投稿すべく、当該投稿サイトでの投稿目的に応じた被写体（例：出来上がった料理やそれに使用した調理機器等、釣果である魚やそれを釣り上げるために使用した釣り具など）について、日々撮影を実行しているものとする。
【0021】
そのため、投稿支援装置１０の記憶装置には、時間経過とともに数多くの画像データが蓄積され、上述の投稿サイトの熱心なユーザであるほど、また、撮影意欲の強いユーザであるほど、膨大な画像データ群が形成されていくことになる。
【0022】
なお、本実施形態における投稿支援装置１０は、ネットワークＮＷへの適宜な通信機能を備えた、スマートフォン、タブレット端末、ノートＰＣ等を想定できる。このネットワークＮＷは、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）の他、近距離無線通信用の通信回線であってもよい。
【0023】
また、投稿支援装置１０の保持するソフトウェアの一例としては、携帯端末上で動作するモバイルアプリケーションすなわちアプリ１７１を想定する。このアプリ１７１は、投稿サイトシステム２０が公開する投稿サイトでのブラウジング機能を介した、公開投稿の閲覧やユーザによる投稿動作を可能とするものである。
【0024】
こうした投稿支援装置１０を操作する者は、当該投稿支援装置１０を介して投稿サイトにアクセスする。そして、所望の投稿を閲覧して自身の活動の参考にすることとなる。例えば、当該投稿サイトがレシピ投稿サイトであるならば、投稿支援装置１０のユーザは、他ユーザのレシピ投稿を参照し、調理に必要な食材を揃え、自身で調理を行う。
【0025】
また、こうしたユーザは、参照しレシピを基に料理を作ったことやそのレシピの良否を報告すべく、レシピ投稿サイトにて提供されるレポート機能を利用し、投稿支援装置１０の写真フォルダに格納されている写真（フォト）画像を投稿する。こうした投稿には、完成した料理の写真を添付することが必須となっており、レシピ作者の許可の下、当該レシピのページに反映されることとなっている。
【0026】
しかしながら、上述の写真フォルダに蓄積されている画像は膨大な数にのぼることが多く、ユーザは、その使用目的に合致する画像を迅速に特定することは従来困難であった。本実施形態においては、こうした課題を解決し、ユーザに特段の負担無く、画像検索を効率的なものとし、ひいては当該画像の有効活用を図ることが可能となる。
【0027】
一方、投稿サイトシステム２０は、当該投稿サイトシステム２０が運用する投稿サイトで公開している各ユーザの投稿を管理しているサーバ装置である。
【0028】
本実施形態の投稿サイトシステム２０は、いわゆるレシピ投稿サイトを管理、運用する装置を想定する。ここで例示する投稿サイトシステム２０は、上述のレシピ投稿サイトを、インターネットなどのネットワークＮＷで公開するＷｅｂサーバである。
【0029】
投稿サイトシステム２０が公開する投稿サイトでは、有名無名を問わず、様々な者が投稿を行う。また同様に、様々な者がアクセスし、自身にとって必要なジャンルの、或いは好みの投稿者の投稿を閲覧する。
【0030】
本実施形態における投稿サイトシステム２０は、特徴的な構成として、機械学習エンジンを有しており、各投稿が含む画像（例：料理が被写体）と当該投稿の説明文（例：料理の名前や種類）を学習データとした機械学習を実行し、画像における特徴量を説明変数、当該画像における被写体の種類を目的変数とした学習済モデルを生成する。
【0031】
投稿サイトシステム２０は、上述のように生成した学習済モデルを、例えば、ネットワークＮＷを介して、投稿支援装置１０に配信するものとする。したがって、投稿支援装置１０は、この学習済モデルを活用して、自身の写真フォルダで保持する各画像を、その被写体の種類で分類することが可能となる。
【0032】
以下、本実施形態の投稿支援装置１０の具体的な構成や、その処理手順等について順次説明する。
【0033】
＜投稿支援装置の構成＞
続いて、本実施形態における投稿支援装置１０の構成例について説明する。図２は、本実施形態における投稿支援装置１０の構成例を示す図である。本実施形態の投稿支援装置１０は、図２で示すように、記憶部１１、メモリ１２、演算部１３、入力部１４、出力部１５、通信部１６、および、カメラユニット１８を備える。
続いて、本実施形態における投稿支援装置１０の構成例について説明する。図２は、本実施形態における投稿支援装置１０の構成例を示す図である。本実施形態の投稿支援装置１０は、図２で示すように、記憶部１１、メモリ１２、演算部１３、入力部１４、出力部１５、通信部１６、および、カメラユニット１８を備える。
【0034】
このうち記憶部１１は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）といった不揮発性記憶素子で構成される。
【0035】
記憶部１１には、本実施形態の投稿支援装置として必要な機能を実装する為のプログラム１７として、アプリ１７１が少なくとも記憶されている。このアプリ１７１は、既に述べたように、投稿サイトシステム２０が公開する投稿サイトでのブラウジング機能を介した投稿の閲覧や投稿（他者の投稿の使用レポートの投稿含む）を可能とするものである。
【0036】
また、記憶部１１には、本投稿支援装置１０のカメラユニット１８で撮影された画像を格納する写真フォルダが実装されている。この写真フォルダは、画像格納部１００に対応しており、画像データ群を画像ＤＢ１２０とする。
【0037】
同様に、記憶部１１には、投稿サイトシステム２０から配信された学習済モデル１０１１をモデルＤＢ１２１で格納する、モデル格納部１０１が実装される。学習済モデル１０１１の生成や配信の詳細については後述する。
【0038】
なお、図示は省略するが、記憶部１１には、投稿支援装置１０を保持するユーザの識別情報である会員情報が格納されているものとする。この会員情報は、投稿サイトシステム２０の運営者が提供する会員サービスにおいて、登録ユーザに発行され、ユーザを一意に特定する会員番号、ユーザ属性などが含まれている。なお、メモリ１２は、ＲＡＭなどの揮発性記憶素子で構成される。
【0039】
また、演算部１３は、記憶部１１に保持されるプログラム１７をメモリ１２に読み込んで実行し、投稿支援装置として必要な機能を実装するＣＰＵを想定する。ここで実装される機能は、一般的なスマートフォンなど情報処理端末の機能に加えて、分類処理部１０２および候補提示部１０３の各機能を含むものとする。
【0040】
上述の分類処理部１０２は、記憶部１１の画像格納部１００における画像ＤＢ１２０から、複数の画像データそれぞれを読み出し、これを学習済モデル１０１１に入力して、画像データそれぞれを、規定種類の被写体（例：料理）が撮影された対象画像、または規定種類の被写体以外の被写体（例：調理器具）が撮影された非対象画像に分類する機能となる。
【0041】
例えば、料理画像または非料理画像の分類に基づいて、画像ＤＢ１２０における各画像を分類して料理画像だけを特定し、これを候補提示部１０３により表示するとすれば、ユーザからすれば投稿のための画像選択が容易になり、投稿作業に関するユーザ負担を効果的に軽減できる。ひいては、投稿サイトへの写真投稿が促進されることとなる。
【0042】
また、候補提示部１０３は、分類処理部１０２による分類結果である、対象画像または非対象画像を、ユーザの活用候補画像として出力部１５に表示する機能となる。こうした候補提示部１０３は、対象画像または非対象画像の表示に際し、それらのサムネイル一覧を生成し、これを出力部１５にて表示させるとすれば好適である。
【0043】
さらには、候補提示部１０３は、複数枚の非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、（紐付いている）非対象画像の枚数を示す情報（枚数の値自体、枚数規模を表すアイコンなど）を重畳して表示するとしてもよい。
【0044】
ユーザとしては、投稿対象となりにくい非対象画像がサムネイルに集約された形となり、対象画像の選択動作の邪魔になりにくい。すなわり、投稿に伴う画像の選択効率が向上する。一方で、ユーザが非対象画像を敢えて投稿する状況であっても、非対象画像が集約されたサムネイルは見つけやすく、それをタップするなどして展開することで、所望の画像を簡単に特定・選択し、投稿することができる。
【0045】
この場合の候補提示部１０３は、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた複数枚の非対象画像のサムネイルを、出力部１５にて展開表示する。
【0046】
また、入力部１４は、ユーザからのキー入力や音声入力を受け付けるキーボードやマウス、キーパッド、タッチパネル、マイク等を想定する。また、出力部１５は、処理データの表示を行うディスプレイ等を想定する。
【0047】
また、通信部１６は、ネットワークＮＷと接続して、投稿サイトシステム２０など他装置との通信処理を担うＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等を想定する。
【0048】
また、カメラユニット１８は、スマートフォンなどに一般的に備わるデジタルカメラユニットであり、投稿支援装置１０のユーザからの指示を受けて、被写体のイメージを光学系で取り込んで撮像し、写真画像のデータすなわち画像データを取得するユニットを想定する。ここで取得した画像データは、記憶部１１の画像格納部１００における画像ＤＢ１２０に格納される。
【0049】
＜投稿サイトシステムの構成＞
本実施形態における投稿サイトシステム２０の構成は、図３に示すように、記憶部２１、メモリ２２、演算部２３、および、通信部２４、を備える。
本実施形態における投稿サイトシステム２０の構成は、図３に示すように、記憶部２１、メモリ２２、演算部２３、および、通信部２４、を備える。
【0050】
このうち記憶部２１は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）といった不揮発性記憶素子で構成される。
【0051】
記憶部２１には、本実施形態の投稿サイトシステムとして必要な機能を実装する為のプログラム２５に加え、投稿管理ＤＢ２１０、および学習済モデル２１１が少なくとも記憶されている。このうち投稿管理ＤＢ２１０は、投稿サイトシステムとして当然ながら、ユーザから投稿された投稿内容を管理するデータベースである。
【0052】
また、学習済モデル２１１は、画像における特徴量を説明変数、当該画像における被写体の種類を目的変数としたモデルであって、当該学習済モデル２１１に画像を与えると、当該画像の被写体の種類を判定する機能を有している。また、メモリ１２は、ＲＡＭなどの揮発性記憶素子で構成される。
【0053】
また、演算部２３は、記憶部２１に保持されるプログラム２５をメモリ２２に読み込んで実行し、投稿サイトシステムとして必要な機能を実装するＣＰＵを想定する。ここで実装される機能は、一般的な投稿サイトシステムの機能に加えて、機械学習エンジン２５１による、学習済モデル２１１の生成機能を含むものとなる。
【0054】
本実施形態における投稿サイトシステム２０は、投稿管理ＤＢ２１０で保持する、各投稿が含む画像（例：料理が被写体）と当該投稿の説明文（例：料理の名前や種類）を学習データとして機械学習エンジン２５１に入力して機械学習を実行し、画像における特徴量を説明変数、当該画像における被写体の種類を目的変数とした学習済モデル２１１を生成する。
【0055】
また、通信部２４は、ネットワークＮＷと接続して、投稿支援装置１０など他装置との通信処理を担うＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等を想定する。
【0056】
＜データの具体例＞
次に、本実施形態の投稿支援装置１０が利用する各種のデータベースについて説明する。図４に、本実施形態における画像ＤＢ１２０のデータ構成例を示す。画像ＤＢ１２０は、カメラユニット１８で撮影された画像を格納したデータベースである。
次に、本実施形態の投稿支援装置１０が利用する各種のデータベースについて説明する。図４に、本実施形態における画像ＤＢ１２０のデータ構成例を示す。画像ＤＢ１２０は、カメラユニット１８で撮影された画像を格納したデータベースである。
【0057】
ただし、カメラユニット１８で撮影された画像のみならず、ネットワークＮＷ上で公開されていた画像や、他ユーザの端末からネットワークＮＷ経由で、或いは近距離無線通信経由で取得した画像も格納対象となりうる。
【0058】
その構造は、例えば、画像データを一意に示す画像ＩＤをキー項目として、当該画像データの撮影日時、撮影場所といったメタデータと、ファイル名（格納先アドレスであってもよい）、といったデータを対応づけたレコードの集合体となっている。
【0059】
また図５に、本実施形態におけるモデルＤＢ１２１のデータ構成例を示す。モデルＤＢ１２１は、投稿サイトシステム２０から配信された学習済モデル１０１１を格納したデータベースである。
【0060】
その構造は、例えば、学習済モデルを一意に示すモデルＩＤをキー項目として、当該学習済モデルにおいて、目的変数の種類（対象画像か非対象画像のいずれに関するか）、当該目的変数に対応する被写体の種類、および、学習済モデルの実体を格納したファイル（またはその格納先）、いったデータを対応づけたレコードの集合体となっている。
【0061】
＜投稿支援方法：学習済モデル生成・取得フロー＞
続いて、本実施形態における投稿支援方法の実際手順について図に基づき説明する。以下で説明する投稿支援方法に対応する各種動作は、例えば、投稿支援装置１０や投稿サイトシステム２０が実行するプログラムにより実装される。また、プログラムは、以下に説明される各種の動作を行うためのコードから構成されている。
続いて、本実施形態における投稿支援方法の実際手順について図に基づき説明する。以下で説明する投稿支援方法に対応する各種動作は、例えば、投稿支援装置１０や投稿サイトシステム２０が実行するプログラムにより実装される。また、プログラムは、以下に説明される各種の動作を行うためのコードから構成されている。
【0062】
図６は、本実施形態における投稿支援方法のフロー例を示す図である。ここでは、投稿サイトシステム２０における学習済モデル２１１の生成から、投稿支援装置１０における学習済モデル１０１１の取得・格納に至る一連の流れについて説明する。
【0063】
この場合、投稿サイトシステム２０は、例えば、一定期間ごとに、投稿管理ＤＢ２１０で保持する投稿データから投稿画像と当該投稿画像に関するメタデータを抽出し、こられを学習データとして機械学習エンジン２５１に与える（ｓ１）。
【0064】
上述の処理ｓ１において、投稿画像に関するメタデータが示す被写体の種類に関する情報は、機械学習における正解値となる。この被写体の種類としては、レシピ投稿サイトにおける投稿対象である料理名、料理ジャンル、といった値を想定できる。
【0065】
一方、投稿画像は、投稿サイトシステム２０が予め保持する特徴量抽出アルゴリズムの処理対象とされる。この特徴量抽出アルゴリズムの処理で、投稿画像から特徴量が抽出される。特徴量としては、特に限定しないが、ＨＯＧ（Ｈｉｓｔｏｇｒａｍ Ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）やＳＩＦＴ（Ｓｃａｌｅｄ Ｉｎｖａｒｉａｎｃｅ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）など、種々のものを適宜に採用すればよい。
【0066】
投稿サイトシステム２０は、機械学習エンジン２５１により、各投稿画像における被写体の種類を正解データ（すなわち目的変数）、その投稿画像の特徴量を説明変数として機械学習を進め、画像特徴量と被写体種類との間の関係性を規定した学習済モデル２１１を生成する（ｓ２）。
【0067】
本実施形態における投稿サイトシステム２０は、投稿管理ＤＢ２１０で保持する、例えば、レシピ投稿が含む料理画像（例：料理が被写体）と当該レシピ投稿の説明文（例：料理の名前や種類）を学習データとして機械学習エンジン２５１に入力して機械学習を実行し、料理画像における特徴量を説明変数、当該料理画像における被写体の種類を目的変数とした学習済モデル２１１を生成する、ことを想定できる。
【0068】
また、投稿サイトシステム２０は、ｓ２で生成した学習済モデル２１１を、ネットワークＮＷを介して投稿支援装置１０に配信する（ｓ３）。
【0069】
一方、投稿支援装置１０は、投稿サイトシステム２０から配信されてきた学習済モデル２１１を、記憶部１１のモデルＤＢ１２１に格納し、処理を終了する。ここまでの処理で、投稿支援装置１０は、投稿サイトで管理されている膨大な数の投稿を学習データとして生成された学習済モデルを取得し、自身の画像ＤＢ１２０で保持する各画像の分類を実行可能な状態となった。
【0070】
＜投稿支援方法：画像分類と候補提示のフロー＞
図７は、本実施形態における投稿支援方法のフロー例を示す図である。ここでは、分類処理部１０２及び候補提示部１０３による処理の流れについて説明する。
図７は、本実施形態における投稿支援方法のフロー例を示す図である。ここでは、分類処理部１０２及び候補提示部１０３による処理の流れについて説明する。
【0071】
この場合、投稿支援装置１０の分類処理部１０２は、例えば、アプリ１７１におけるユーザの投稿操作（図８参照。「写真が動画を選択する」アイコンのタップ）を感知して、または、入力部１４でユーザの指示を受けて、画像格納部１００の画像ＤＢ１２０で保持する画像データそれぞれを読み出す（ｓ１０）。
【0072】
また、投稿支援装置１０の分類処理部１０２は、ｓ１０で読み出した画像データそれぞれを、投稿支援装置１０が保持する特徴量抽出アルゴリズムに付与し、各画像データの特徴量を抽出する（ｓ１１）。
【0073】
続いて、投稿支援装置１０の分類処理部１０２は、ｓ１１で各画像データに関して得た特徴量のデータを、学習済モデル１０１１に入力し、画像データそれぞれの被写体種類が、当該学習済モデル１０１１で規定する対象画像（または非対象画像）か判定する（ｓ１２）。
【0074】
この処理は、画像ＤＢ１２０の各画像データを、規定種類の被写体（例：料理）が撮影された対象画像、または規定種類の被写体以外の被写体（例：調理器具）が撮影された非対象画像に分類する処理となる。例えば、画像ＤＢ１２０における各画像を分類して料理画像だけを特定する。
【0075】
なお、上述の学習済モデル１０１１を用いた被写体種類の判定において、対象画像および非対象画像のいずれにも分類されない画像データについては、例えば、「その他」画像として分類しても良い。その場合、後述するサムネイル一覧中にて、当該画像のサムネイルを、対象画像、非対象画像のいずれとも異なる形態（例：異なる色調やサムネイル形状など）で表示させるケースや、「その他」画像である旨を示すテキストやアイコンを付与する、といった表示制御を行うことも想定できる。
【0076】
続いて、投稿支援装置１０の候補提示部１０３は、ｓ１２における分類処理部１０２による処理結果である、対象画像（または非対象画像）を、ユーザの活用候補画像として選定する（ｓ１３）。
【0077】
また、投稿支援装置１０の候補提示部１０３は、ｓ１３で選定した活用候補画像に関して、それらのサムネイルをそれぞれ生成してサムネイル一覧（図９参照）を生成する（ｓ１４）。この時、投稿支援装置１０の候補提示部１０３は、各サムネイルの配置位置を、写真フォルダにおける当初位置（すなわち当該画像の撮影順）とし、ユーザの画像選定作業を効率化するとすれば好適である。ユーザは、通常、ごく最近撮影した新しい画像からチェックし、徐々に古い画像に遡って探索することが自然である故である。
【0078】
また、投稿支援装置１０の候補提示部１０３は、上述の活用候補画像以外の画像、すなわち調理器具など非対象画像のサムネイルも同様に生成し、これを例えばグレーアウトさせ（図１０参照）、一旦はユーザの探索対象から敢えて外れるよう表示制御するといった運用を行うとしても好適である。
【0079】
この非対象画像のサムネイルについても、上述の活用候補画像と同様に、その配置位置を、写真フォルダにおける当初位置（すなわち当該画像の撮影順）とし、ユーザの画像選定作業を効率化するとすれば好適である。
【0080】
また、投稿支援装置１０の候補提示部１０３は、上述の活用候補画像以外のもの、すなわち非対象画像を、例えば、所定の複数枚数ごとに１つのサムネイルに紐付けるとともに、当該サムネイル上に、（紐付いている）非対象画像の枚数を示す情報（枚数の値自体、枚数規模を表すアイコンなど）を重畳（図１１参照）させる（ｓ１５）。
【0081】
投稿支援装置１０の候補提示部１０３は、ここまでで生成した活用候補画像（対象画像）それぞれのサムネイル、および複数枚の非対象画像を代表する１枚のサムネイル、を出力部１５のディスプレイにて上述の図１１の画面例のように表示し（ｓ１６）、処理を終了する。なお、図１２で例示するように、料理画像と調理器具画像といった、被写体の種類ごとに表示位置を区分して表示するとしてもよい。
【0082】
こうした表示を行うとすれば、ユーザからすれば活用候補画像を主たる選択動作対象とし、必要に応じて非対象画像をチェックする、といった効率的な画像選択を行うことが可能となる。そのため、投稿作業に関するユーザ負担を効果的に軽減できる。ひいては、投稿サイトへの写真投稿が促進されることとなる。
【0083】
また、ユーザとしては、投稿対象となりにくい非対象画像がサムネイルに集約された形となり、活用候補画像中からの対象画像の選択動作の邪魔になりにくい。すなわり、投稿に伴う画像の選択効率が向上する。
【0084】
一方で、ユーザが非対象画像を敢えて投稿する状況であっても、非対象画像が集約されたサムネイルは見つけやすく、それをタップするなどして展開することで、非対象画像のサムネイル中から所望の画像を簡単に特定・選択し、投稿することができる。
【0085】
この場合の候補提示部１０３は、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた複数枚の非対象画像のサムネイルを、出力部１５にて展開表示することとなる。
【0086】
以上、本開示を実施するための最良の形態などについて具体的に説明したが、本開示はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。こうした本実施形態によれば、情報端末で保持する画像の検索を効率的なものとし、ひいては当該画像の有効活用を図ることが可能となる。
【0087】
なお、投稿支援装置を構成する各機能を実現するためのプログラムを、コンピュータで読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、指示することによって、本実施形態の投稿支援方法を実現するとしてもよい。
【0088】
具体的には、当該プログラムは、情報処理装置において、複数の画像データと、画像中の被写体の種類を判定する学習済モデルとを保持して、前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、実行させる動作をコンピュータによって実現するためのプログラムである。
【0089】
ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、ＵＳＢメモリ等の可搬媒体、コンピュータシステムに内蔵されるハードディスクやＳＳＤ等の記憶装置のことをいう。
【0090】
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。
【0091】
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【0092】
１０ 投稿支援装置
１１ 記憶部
１２ メモリ
１３ 演算部
１４ 入力部
１５ 出力部
１６ 通信部
１７ プログラム
１７１ アプリ
１８ カメラユニット
１００ 画像格納部
１０１ モデル格納部
１０１１ 学習済モデル
１０２ 分類処理部
１０３ 候補提示部
１２０ 画像ＤＢ
１２１ モデルＤＢ
２０ 投稿サイトシステム
２１ 記憶部
２１０ 投稿管理ＤＢ
２１１ 学習済モデル
２２ メモリ
２３ 演算部
２４ 通信部
２５ プログラム
２５１ 機械学習エンジン
１１ 記憶部
１２ メモリ
１３ 演算部
１４ 入力部
１５ 出力部
１６ 通信部
１７ プログラム
１７１ アプリ
１８ カメラユニット
１００ 画像格納部
１０１ モデル格納部
１０１１ 学習済モデル
１０２ 分類処理部
１０３ 候補提示部
１２０ 画像ＤＢ
１２１ モデルＤＢ
２０ 投稿サイトシステム
２１ 記憶部
２１０ 投稿管理ＤＢ
２１１ 学習済モデル
２２ メモリ
２３ 演算部
２４ 通信部
２５ プログラム
２５１ 機械学習エンジン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【手続補正書】
【提出日】2021-03-04
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを投稿支援装置に配信する投稿サイトシステムと、
複数の画像データを格納する画像格納部と、
前記投稿サイトシステムから受信した前記学習済モデルを格納したモデル格納部と、前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する分類処理部と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する候補提示部を備える投稿支援装置と、
を含むシステム。
複数の画像データを格納する画像格納部と、
前記投稿サイトシステムから受信した前記学習済モデルを格納したモデル格納部と、前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する分類処理部と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する候補提示部を備える投稿支援装置と、
を含むシステム。
【請求項2】
前記候補提示部は、
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力するものである、
請求項１に記載の投稿支援装置。
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力するものである、
請求項１に記載の投稿支援装置。
【請求項3】
前記候補提示部は、
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示するものである、
請求項２に記載の投稿支援装置。
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示するものである、
請求項２に記載の投稿支援装置。
【請求項4】
投稿サイトシステムが、
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを投稿支援装置に配信する処理を実行し、
情報処理装置が
複数の画像データと、画像中の被写体の種類を判定する学習済モデルとを保持して、
前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行する投稿支援方法。
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを投稿支援装置に配信する処理を実行し、
情報処理装置が
複数の画像データと、画像中の被写体の種類を判定する学習済モデルとを保持して、
前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行する投稿支援方法。
【請求項5】
前記情報処理装置が、
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力する、
請求項４に記載の投稿支援方法。
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力する、
請求項４に記載の投稿支援方法。
【請求項6】
前記情報処理装置が、
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示する、
請求項５に記載の投稿支援方法。
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示する、
請求項５に記載の投稿支援方法。
【請求項7】
投稿サイトシステムにおいて、
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを投稿支援装置に配信する処理を実行させ、
情報処理装置において、
複数の画像データと、画像中の被写体の種類を判定する学習済モデルとを保持して、
前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行させる投稿支援プログラム。
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを投稿支援装置に配信する処理を実行させ、
情報処理装置において、
複数の画像データと、画像中の被写体の種類を判定する学習済モデルとを保持して、
前記複数の画像データそれぞれを前記学習済モデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行させる投稿支援プログラム。
【手続補正書】
【提出日】2021-06-14
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを投稿支援装置に配信する投稿サイトシステムと、
複数の画像データを格納する画像格納部と、
前記投稿サイトシステムから受信した前記学習済みモデルを格納したモデル格納部と、前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する分類処理部と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する候補提示部を備える投稿支援装置と、
を含むシステム。
複数の画像データを格納する画像格納部と、
前記投稿サイトシステムから受信した前記学習済みモデルを格納したモデル格納部と、前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する分類処理部と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する候補提示部を備える投稿支援装置と、
を含むシステム。
【請求項2】
前記候補提示部は、
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力するものである、
請求項１に記載の投稿支援装置。
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力するものである、
請求項１に記載の投稿支援装置。
【請求項3】
前記候補提示部は、
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示するものである、
請求項２に記載の投稿支援装置。
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示するものである、
請求項２に記載の投稿支援装置。
【請求項4】
投稿サイトシステムが、
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを投稿支援装置に配信する処理を実行し、
投稿支援装置が
複数の画像データと、画像中の被写体の種類を判定する学習済みモデルとを保持して、
前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行する投稿支援方法。
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを投稿支援装置に配信する処理を実行し、
投稿支援装置が
複数の画像データと、画像中の被写体の種類を判定する学習済みモデルとを保持して、
前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行する投稿支援方法。
【請求項5】
前記投稿支援装置が、
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力する、
請求項４に記載の投稿支援方法。
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力する、
請求項４に記載の投稿支援方法。
【請求項6】
前記投稿支援装置が、
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示する、
請求項５に記載の投稿支援方法。
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示する、
請求項５に記載の投稿支援方法。
【請求項7】
投稿サイトシステムにおいて、
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを投稿支援装置に配信する処理を実行させ、
投稿支援装置において、
複数の画像データと、画像中の被写体の種類を判定する学習済みモデルとを保持して、
前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行させる投稿支援プログラム。
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを投稿支援装置に配信する処理を実行させ、
投稿支援装置において、
複数の画像データと、画像中の被写体の種類を判定する学習済みモデルとを保持して、
前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行させる投稿支援プログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【0009】
上記目的を達成するために、本開示の一態様におけるシステムは、投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを投稿支援装置に配信する投稿サイトシステムと、複数の画像データを格納する画像格納部と、前記投稿サイトシステムから受信した前記学習済みモデルを格納したモデル格納部と、前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する分類処理部と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する候補提示部を備える投稿支援装置と、を含む。
【手続補正書】
【提出日】2021-10-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを投稿支援装置に配信する投稿サイトシステムと、
複数の画像データを格納する画像格納部と、
前記投稿サイトシステムから受信した前記学習済みモデルを格納したモデル格納部と、前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する分類処理部と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する候補提示部を備える投稿支援装置と、
を含むシステム。
複数の画像データを格納する画像格納部と、
前記投稿サイトシステムから受信した前記学習済みモデルを格納したモデル格納部と、前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する分類処理部と、前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する候補提示部を備える投稿支援装置と、
を含むシステム。
【請求項2】
前記候補提示部は、
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力するものである、
請求項１に記載の投稿支援装置。
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力するものである、
請求項１に記載の投稿支援装置。
【請求項3】
前記候補提示部は、
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示するものである、
請求項２に記載の投稿支援装置。
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示するものである、
請求項２に記載の投稿支援装置。
【請求項4】
投稿支援装置を有する投稿サイトシステムが、
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを前記投稿支援装置に配信する処理を実行し、
前記投稿支援装置が
複数の画像データと、画像中の被写体の種類を判定する、前記投稿サイトシステムより受信した前記学習済みモデルとを保持して、
前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行する投稿支援方法。
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを前記投稿支援装置に配信する処理を実行し、
前記投稿支援装置が
複数の画像データと、画像中の被写体の種類を判定する、前記投稿サイトシステムより受信した前記学習済みモデルとを保持して、
前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行する投稿支援方法。
【請求項5】
前記投稿支援装置が、
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力する、
請求項４に記載の投稿支援方法。
前記対象画像または前記非対象画像のサムネイル一覧を生成し、当該サムネイル一覧を出力する、
請求項４に記載の投稿支援方法。
【請求項6】
前記投稿支援装置が、
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示する、
請求項５に記載の投稿支援方法。
複数枚の前記非対象画像を１つのサムネイルに紐付けるとともに、当該サムネイル上に、前記非対象画像の枚数を示す情報を重畳して表示し、ユーザによる当該サムネイルの選択動作を受けた場合、当該サムネイルに紐付いた前記複数枚の非対象画像のサムネイルを展開表示する、
請求項５に記載の投稿支援方法。
【請求項7】
投稿支援装置を有する投稿サイトシステムにおいて、
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを前記投稿支援装置に配信する処理を実行させ、
前記投稿支援装置において、
複数の画像データと、画像中の被写体の種類を判定する、前記投稿サイトシステムより受信した前記学習済みモデルとを保持して、
前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行させる投稿支援プログラム。
投稿サイトでの投稿データを保持する投稿管理ＤＢと、前記投稿データから一定期間ごとに投稿画像と当該投稿画像に関するメタデータを抽出し、前記抽出した前記投稿画像及び前記メタデータを学習データとし、各投稿画像における被写体の種類を正解データ、当該投稿画像の特徴量を説明変数として機械学習を行い、画像特徴量と被写体種類との間の関係性を規定した学習済みモデルを生成する機械学習エンジンとを備えて、前記学習済みモデルを前記投稿支援装置に配信する処理を実行させ、
前記投稿支援装置において、
複数の画像データと、画像中の被写体の種類を判定する、前記投稿サイトシステムより受信した前記学習済みモデルとを保持して、
前記複数の画像データそれぞれを前記学習済みモデルに入力して、前記画像データそれぞれを、規定種類の被写体が撮影された対象画像、または前記規定種類の被写体以外の被写体が撮影された非対象画像に分類する処理と、
前記対象画像または前記非対象画像を、ユーザの活用候補画像として表示する処理と、
を実行させる投稿支援プログラム。