IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 富士フイルム株式会社の特許一覧

特開2022-164837画像処理装置,画像処理方法および画像処理プログラム
<>
  • 特開-画像処理装置,画像処理方法および画像処理プログラム 図1
  • 特開-画像処理装置,画像処理方法および画像処理プログラム 図2
  • 特開-画像処理装置,画像処理方法および画像処理プログラム 図3
  • 特開-画像処理装置,画像処理方法および画像処理プログラム 図4
  • 特開-画像処理装置,画像処理方法および画像処理プログラム 図5
  • 特開-画像処理装置,画像処理方法および画像処理プログラム 図6
  • 特開-画像処理装置,画像処理方法および画像処理プログラム 図7
  • 特開-画像処理装置,画像処理方法および画像処理プログラム 図8
  • 特開-画像処理装置,画像処理方法および画像処理プログラム 図9
  • 特開-画像処理装置,画像処理方法および画像処理プログラム 図10
  • 特開-画像処理装置,画像処理方法および画像処理プログラム 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022164837
(43)【公開日】2022-10-27
(54)【発明の名称】画像処理装置,画像処理方法および画像処理プログラム
(51)【国際特許分類】
   G06T 11/60 20060101AFI20221020BHJP
   G06T 7/00 20170101ALI20221020BHJP
【FI】
G06T11/60 100C
G06T7/00 300E
【審査請求】有
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022138231
(22)【出願日】2022-08-31
(62)【分割の表示】P 2021508180の分割
【原出願日】2020-02-04
(31)【優先権主張番号】P 2019058866
(32)【優先日】2019-03-26
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001830
【氏名又は名称】東京UIT国際特許業務法人
(72)【発明者】
【氏名】野口 幸典
(57)【要約】
【課題】複数のお手本画像に類似し,かつ複数のお手本画像の流れに沿ったユーザ画像を決定できる画像処理装置,画像処理方法および画像処理プログラムを提供する。
【解決手段】
お手本画像とユーザ画像との類似度が第1のしきい値以上の組み合わせI2とP3,I51とP21,I150とP49,I198とP79,I201とP30,I249とP99,I300とP101およびI301とP112が検出される。相対的な撮影時刻の時間差が第2のしきい値以上の組み合わせとなるI201とP30とは,組み合わせが解消され,残りが第2の組み合わせとなる。第2の組み合わせから,類似する画像同士の集まりであるお手本画像グループとユーザ画像グループとが決定され,お手本アルバムに貼り付けられているお手本画像に類似するユーザ画像がユーザ画像グループから決定する。決定したユーザ画像からユーザ・アルバムが作成される。
【選択図】図5
【特許請求の範囲】
【請求項1】
それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち,第1のしきい値以上の類似度を有する上記サンプル画像と上記撮影画像との第1の組み合わせを検出する第1の検出手段,
上記第1の組み合わせのうち,上記複数のサンプル画像における上記サンプル画像の順位と,上記複数の撮影画像における上記撮影画像の順位と,の差が第2のしきい値以内である上記サンプル画像と上記撮影画像との第2の組み合わせを検出する第2の検出手段,ならびに
上記第2の組み合わせにもとづいて,上記サンプル画像を含むサンプル画像グループと,上記サンプル画像グループと対応する上記撮影画像を含む撮影画像グループと,の組み合わせを決定する決定手段,
を備えた画像処理装置。
【請求項2】
上記第2の組み合わせにもとづいて,上記複数のサンプル画像を複数のサンプル画像グループに分ける第1のグループ分け手段,および
上記第2の組み合わせにもとづいて,上記複数の撮影画像を複数の撮影画像グループに分ける第2のグループ分け手段,
をさらに備えた請求項1に記載の画像処理装置。
【請求項3】
上記撮影画像グループの中に含まれる上記撮影画像であって,上記サンプル画像グループに含まれる一のサンプル画像との類似度が第3のしきい値以上の上記撮影画像を表示する表示装置,
をさらに備えた請求項1または2に記載の画像処理装置。
【請求項4】
上記サンプル画像グループに含まれる一のサンプル画像は,
上記複数のサンプル画像の中からサンプル写真集に採用されているものである,
請求項1から3のうち,いずれか一項に記載の画像処理装置。
【請求項5】
上記撮影画像グループの中に含まれる上記撮影画像であって,上記サンプル画像グループに含まれる一のサンプル画像との類似度が第3のしきい値以上の上記撮影画像を,上記サンプル写真集に対応する写真集を生成する写真集のひな形において,上記撮影画像との類似度が上記第3のしきい値以上の上記一のサンプル画像が位置決めされている位置に位置決めする位置決め手段,
をさらに備えた請求項4に記載の画像処理装置。
【請求項6】
上記第1の検出手段は,
上記複数のサンプル画像および上記複数の撮影画像のうち,類似度が最大の上記サンプル画像と上記撮影画像との第3の組み合わせであって,類似度が第1のしきい値以上の上記サンプル画像と上記撮影画像との第1の組み合わせを検出する,
請求項1から5のうち,いずれか一項に記載の画像処理装置。
【請求項7】
上記決定手段は,
上記第2の検出手段によって検出された上記第2の組み合わせのうち順位が異なる2つの第2の組み合わせの間に存在する2つ以上の上記サンプル画像と2つ以上の上記撮影画像とを,上記サンプル画像グループと上記撮影画像グループと決定する,
請求項1から6のうち,いずれか一項に記載の画像処理装置。
【請求項8】
上記決定手段は,
上記第2の検出手段によって検出された上記第2の組み合わせのうち順位が隣接している2つの第2の組み合わせの間に存在する2つ以上の上記サンプル画像と2つ以上の上記撮影画像とを,上記サンプル画像グループと上記撮影画像グループと決定する,
請求項1から7のうち,いずれか一項に記載の画像処理装置。
【請求項9】
上記決定手段は,
上記第2の検出手段によって検出された上記第2の組み合わせのうち,順位が,一の第2の組み合わせの前後の上記第2の組み合わせの間に存在する2つ以上の上記サンプル画像と2つ以上の上記撮影画像とを,上記サンプル画像グループと上記撮影画像グループとに決定する,
請求項1から7のうち,いずれか一項に記載の画像処理装置。
【請求項10】
上記第3のしきい値以上の上記撮影画像は,上記決定手段によって決定された上記サンプル画像グループに含まれる一のサンプル画像との類似度が最大の上記撮影画像である,
請求項3または5に記載の画像処理装置。
【請求項11】
第1の検出手段が,それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち,第1のしきい値以上の類似度を有する上記サンプル画像と上記撮影画像との第1の組み合わせを検出し,
第2の検出手段が,上記第1の組み合わせのうち,上記複数のサンプル画像における上記サンプル画像の順位と,上記複数の撮影画像における上記撮影画像の順位と,の差が第2のしきい値以内である上記サンプル画像と上記撮影画像との第2の組み合わせを検出し,
決定手段が,上記第2の組み合わせにもとづいて,上記サンプル画像を含むサンプル画像グループと,上記サンプル画像グループと対応する上記撮影画像を含む撮影画像グループと,の組み合わせを決定する,
画像処理方法。
【請求項12】
それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち,第1のしきい値以上の類似度を有する上記サンプル画像と上記撮影画像との第1の組み合わせを検出させ,
上記第1の組み合わせのうち,上記複数のサンプル画像における上記サンプル画像の順位と,上記複数の撮影画像における上記撮影画像の順位と,の差が第2のしきい値以内である上記サンプル画像と上記撮影画像との第2の組み合わせを検出させ,
上記第2の組み合わせにもとづいて,上記サンプル画像を含むサンプル画像グループと,上記サンプル画像グループと対応する上記撮影画像を含む撮影画像グループと,の組み合わせを決定させるように画像処理装置のコンピュータを制御し,かつ上記コンピュータが読み取り可能なプログラム。
【請求項13】
請求項12に記載のプログラムを格納した記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は,画像処理装置,画像処理方法および画像処理プログラムに関する。
【背景技術】
【0002】
一般のカメラユーザが結婚式の写真を撮影し,撮影した写真から結婚式のアルバムを作成しようとしても,アルバム専門業者が作成したアルバムの完成度には及ばない。このために一般のカメラユーザが結婚式などのアルバムなどを作成する場合に完成度を上げる必要がある。
【0003】
画像処理の分野では,複数の画像群をレイアウトする場合に,ユーザ所望の種類のオブジェクトを含む画像を画像群に含ませることができるもの(特許文献1),特定の人物の画像を時系列的に表示できるようにするもの(特許文献2),撮影画像が何であるか特定するためにどのような撮影を行えばよいかの支援を行うことができるもの(特許文献3)などについても考えられている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2018-097484号公報
【特許文献2】特開2012-120007号公報
【特許文献3】特開2011-223250号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
プロが作成したお手本のアルバムを参考にしてアルバムを作成しようとすると,多くの画像の中からアルバムに使用する画像を選んだり,画像のレイアウトを考える必要があったりするので,かなり煩雑な作業となってしまう。このために,お手本のアルバムに使用されている画像と類似している画像をユーザが撮影した画像の中から自動的に見つけ,お手本に貼り付けられている画像の位置と同じ位置にユーザが撮影した画像を自動的にアルバムに貼り付けるようにすると,画像としては類似しているが,結婚式全体の流れと合わない位置に画像が貼り付けられてしまうことがある。たとえば,お手本の新郎新婦の入場の画像とユーザが撮影した結婚式の最後の新郎新婦のあいさつの画像とが,たまたま類似していた場合に,結婚式の最後の新郎新婦のあいさつの画像がアルバムの最初の頁に貼り付けられてしまうことがある。
【0006】
引用文献1においては時間情報にもとづいて複数の画像群に分割するもので,お手本画像という考えが無い。引用文献2においては特定の人物を時系列的に表示するもので,やはりお手本画像という考えがない。引用文献3においてはアルバムに貼り付けられる画像の流れについては考えられていない。
【0007】
この発明は,複数のサンプル画像に類似し,かつ複数のサンプル画像の流れに沿った撮影画像を決定できるようにすることを目的とする。
【課題を解決するための手段】
【0008】
この発明による画像処理装置は,それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち,第1のしきい値以上の類似度を有するサンプル画像と撮影画像との第1の組み合わせを検出する第1の検出手段,第1の組み合わせのうち,複数のサンプル画像におけるサンプル画像の順位と,複数の撮影画像における撮影画像の順位と,の差が第2のしきい値以内であるサンプル画像と撮影画像との第2の組み合わせを検出する第2の検出手段,第2の組み合わせにもとづいて,サンプル画像を含むサンプル画像グループと,サンプル画像グループと同一シーンと見なされる撮影画像を含む撮影画像グループとの組み合わせ,を決定する第1の決定手段,ならびにサンプル画像グループに含まれる一のサンプル画像との類似度が第3のしきい値以上の撮影画像を,撮影画像グループの中から決定する第2の決定手段を備えていることを特徴とする。
【0009】
この発明は,画像処理装置に適した画像処理方法も提供している。すなわち,この画像処理方法は,第1の検出手段が,それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち,第1のしきい値以上の類似度を有するサンプル画像と撮影画像との第1の組み合わせを検出し,第2の検出手段が,第1の組み合わせのうち,複数のサンプル画像におけるサンプル画像の順位と,複数の撮影画像における撮影画像の順位と,の差が第2のしきい値以内であるサンプル画像と撮影画像との第2の組み合わせを検出し,第1の決定手段が,第2の組み合わせにもとづいて,サンプル画像を含むサンプル画像グループと,サンプル画像グループと同一シーンと見なされる撮影画像を含む撮影画像グループと,の組み合わせを決定し,第2の決定手段が,サンプル画像グループに含まれる一のサンプル画像との類似度が第3のしきい値以上の撮影画像を,撮影画像グループの中から決定する。
【0010】
この発明は,画像処理装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体も提供している。
【0011】
また,画像処理装置にプロセッサを備え,そのプロセッサが,それぞれ順位が定められている複数のサンプル画像および複数の撮影画像のうち,第1のしきい値以上の類似度を有するサンプル画像と撮影画像との第1の組み合わせを検出し,第1の組み合わせのうち,複数のサンプル画像におけるサンプル画像の順位と,複数の撮影画像における撮影画像の順位と,の差が第2のしきい値以内であるサンプル画像と撮影画像との第2の組み合わせを検出し,第2の組み合わせにもとづいて,サンプル画像を含むサンプル画像グループと,サンプル画像グループと同一シーンと見なされる撮影画像を含む撮影画像グループとの組み合わせ,を決定し,サンプル画像グループに含まれる一のサンプル画像との類似度が第3のしきい値以上の撮影画像を,撮影画像グループの中から決定してもよい。
【0012】
複数のサンプル画像および複数の撮影画像は,結婚式などのように一つのイベントを構成する一連の流れに沿っていることが好ましい。また,複数のサンプル画像および複数の撮影画像のいずれも,新郎新婦の入場,主賓の挨拶などのようなイベントの中の項目の画像については連続するように順位が定められていることが好ましい。したがって,同一シーンの画像については連続するように順位が定められていることが好ましい。
【0013】
第2の組み合わせにもとづいて,複数のサンプル画像を複数のサンプル画像グループに分ける第1のグループ分け手段,および第2の組み合わせにもとづいて,複数の撮影画像を複数の撮影画像グループに分ける第2のグループ分け手段をさらに備えてもよい。
【0014】
第2の決定手段によって決定した撮影画像を表示する表示装置をさらに備えてもよい。
【0015】
一のサンプル画像は,たとえば,複数のサンプル画像の中からサンプル写真集に採用されている。
【0016】
第2の決定手段によって決定した撮影画像を,サンプル写真集に対応する写真集を生成する写真集のひな形において,撮影画像との類似度が第3のしきい値以上の一のサンプル画像が位置決めされている位置に位置決めする位置決め手段をさらに備えてもよい。
【0017】
第1の検出手段は,たとえば,複数のサンプル画像および複数の撮影画像のうち,類似度が最大のサンプル画像と撮影画像との第3の組み合わせのであって,類似度が第1のしきい値以上のサンプル画像と撮影画像との第1の組み合わせを検出する。
【0018】
第1の決定手段は,たとえば,第2の検出手段によって検出された第2の組み合わせのうち順位が異なる2つの第2の組み合わせの間に存在する2つ以上のサンプル画像と2つ以上の撮影画像とを,サンプル画像グループと撮影画像グループと決定する。
【0019】
第1の決定手段は,たとえば,第2の検出手段によって検出された第2の組み合わせのうち順位が隣接している2つの第2の組み合わせの間に存在する2つ以上のサンプル画像と2つ以上の撮影画像とを,サンプル画像グループと撮影画像グループと決定する。
【0020】
第1の決定手段は,たとえば,第2の検出手段によって検出された第2の組み合わせのうち,順位が,一の第2の組み合わせの前後の第2の組み合わせの間に存在する2つ以上のサンプル画像と2つ以上の撮影画像とを,サンプル画像グループと撮影画像グループとに決定するものでもよい。
【0021】
第2の決定手段は,たとえば,第1の決定手段によって決定されたサンプル画像グループに含まれる一のサンプル画像との類似度が最大の撮影画像を,第1の決定手段により決定された撮影画像グループの中から決定する。
【発明の効果】
【0022】
この発明によると,複数のサンプル画像に類似し,かつ複数のサンプル画像の流れに沿った撮影画像を決定できる。
【図面の簡単な説明】
【0023】
図1】画像処理装置の電気的構成を示すブロック図である。
図2】お手本アルバムの一例である。
図3】画像処理装置の処理手順を示すフローチャートである。
図4】画像処理装置の処理手順を示すフローチャートである。
図5】お手本画像とユーザ画像との一例である。
図6】お手本画像とユーザ画像との一例である。
図7】お手本画像とユーザ画像との一例である。
図8】アルバム表示ウインドウの一例である。
図9】アルバム表示ウインドウの一例である。
図10】アルバム表示ウインドウの一例である。
図11】アルバム表示ウインドウの一例である。
【発明を実施するための形態】
【0024】
[第1実施例]
図1は,この発明の実施例を示すもので,画像処理装置1の電気的構成を示すブロック図である。
【0025】
画像処理装置1の全体の動作は,CPU(Central Processing Unit)2によって統括される。
【0026】
画像処理装置1には,画像その他の情報を表示画面に表示する表示装置3およびインターネットその他のネットワークに接続して画像処理装置1以外の装置等と通信する通信装置4が含まれている。また,画像処理装置1には,ハード・ディスク5,ハード・ディスク5にアクセスするハード・ディスク・ドライブ6,データ等を記憶するメモリ7,コマンド等を入力するキーボード8およびマウス9も含まれている。さらに,画像処理装置1には,コンパクト・ディスク11にアクセスするコンパクト・ディスク・ドライブ10およびメモリ・カード13にアクセスするメモリ・カード・リーダ・ライタ12も含まれている。
【0027】
後述する画像処理装置1の動作プログラムは,インターネットを介して通信装置4において受信される。受信された動作プログラムが画像処理装置1にインストールされる。動作プログラムはインターネットなどのようなネットワークを介して画像処理装置1に受信されて画像処理装置1にインストールされずに,コンパクト・ディスク11などの可搬型記録媒体に記録され,その可搬型記録媒体から読み取られてもよい。その場合には,可搬型記録媒体から読み取られた動作プログラムが画像処理装置1にインストールされる。動作プログラムは,画像処理装置1のCPU2(コンピュータ)が読み取り可能である。
【0028】
図2は,お手本アルバム(サンプル写真集の一例である)の一例である。
【0029】
図2に示すお手本アルバム20は,結婚式のアルバム(結婚式のアルバムに限らない)である。お手本アルバム20は,プロの写真家(プロの写真家でなくともよい)によって作成されたものであり,お手本画像の構図,画像の選択基準など素人がお手本とするようなアルバムとなっている。ユーザの結婚式で撮影された多数の画像(ユーザ画像という。撮影画像の一例である)の中からお手本アルバム20に貼られているお手本画像と同じような構図,シーンの画像が画像処理装置1によって見つけ出され,見つけられたユーザ画像が,お手本アルバム20に貼られているお手本画像I20,I65,I132,I151,I201,I280およびI351の順位と同じような順位でアルバムに貼り付けられることにより,お手本アルバム20と同じようなユーザのアルバムが作成される。複数のお手本アルバム20があり,それらの複数のお手本アルバム20の中からユーザが所望のお手本アルバム20を選択し,選択したお手本アルバム20と同じようなユーザのアルバムが作成されるようにしてもよい。
【0030】
図2に示すお手本アルバム20は,第1頁から第7頁から構成されているが,第8頁以上のお手本アルバムでもよいし,第7頁未満のお手本アルバム20でもよい。お手本アルバム20は,「新郎新婦入場」,「主賓のあいさつ」,「ケーキ入刀」,「歓談,食事」,「余興」,「両親への謝辞」および「新郎新婦あいさつ」の各項目の順番で進む結婚式のものである。お手本アルバム20の第1頁,第2頁,第3頁,第4頁,第5頁,第6頁および第7頁のそれぞれには「新郎新婦入場」のお手本画像I20,「主賓のあいさつ」のお手本画像I65,「ケーキ入刀」のお手本画像I132,「歓談,食事」のお手本画像I151,「余興」のお手本画像I201,「両親への謝辞」の画像I280および「新郎新婦あいさつ」の画像I351が貼り付けられている(お手本画像I20,I65,I132,I151,I201,I280およびI351はサンプル画像の一例である)。図2に示すお手本アルバム20では,1頁に1枚の画像が貼り付けられているが1頁に複数枚の画像が貼り付けられていてもよい。また,お手本アルバム20では1頁ごとに画像のシーンが変わっているが複数ページに同じシーンの画像が貼り付けられていてもよい。
【0031】
図3および図4は,画像処理装置1の処理手順を示すフローチャートである。
【0032】
コンパクト・ディスク11には,複数のお手本画像を表す画像データが記録されており(コンパクト・ディスク11以外の記録媒体にお手本画像を表す画像データが記録されていてもよいし,ネットワークを介して受信してもよい),そのコンパクト・ディスク11からお手本画像を表す画像データが読み取られる(ステップ21)。また,メモリ・カード13には,複数のユーザ画像を表す画像データが記録されており(メモリ・カード13以外の記録媒体にユーザ画像を表す画像データが記録されていてもよいし,ネットワークを介して受信してもよい),そのメモリ・カード13からユーザ画像を表す画像データが読み取られる(ステップ22)。
【0033】
図5は,複数のお手本画像の一例と複数のユーザ画像の一例とを示している。
【0034】
お手本画像I1からI351の351枚の複数のお手本画像があり(352枚以上のお手本画像があってもよいし,351枚未満のお手本画像があってもよい),ユーザ画像P1からP120の120枚の複数のユーザ画像がある(121枚以上のユーザ画像があってもよいし,120枚未満のユーザ画像があってもよい)。これらのお手本画像I1からI351を表す画像データがコンパクト・ディスク11から読み取られ,これらのユーザ画像P1からP120を表す画像データがメモリ・カード13から読み取られる。
【0035】
お手本画像I1からI50は,「新郎新婦入場」のシーンの画像であり,これらのお手本画像I1からI50の中からお手本画像I20が選択されてお手本アルバム20に貼り付けられている。お手本画像I51からI100は,「主賓あいさつ」のシーンの画像であり,これらのお手本画像I51からI100の中からお手本画像I65が選択されてお手本アルバム20に貼り付けられている。お手本画像I101からI150は,「ウェディング・ケーキ入刀」のシーンの画像であり,これらのお手本画像I101からI150の中からお手本画像I132が選択されてお手本アルバム20に貼り付けられている。お手本画像I151からI200は,「歓談,食事」のシーンの画像であり,これらのお手本画像I151からI200の中からお手本画像151が選択されてお手本アルバム20に貼り付けられている。お手本画像I201からI250は,「余興」のシーンの画像であり,これらのお手本画像I201からI250の中からお手本画像201が選択されてお手本アルバム20に貼り付けられている。お手本画像I251からI300は,「両親への謝辞」のシーンの画像であり,これらのお手本画像I251からI300の中からお手本画像280が選択されてお手本アルバム20に貼り付けられている。お手本画像I301からI351は,「新郎新婦あいさつ」のシーンの画像であり,これらのお手本画像I301からI351の中からお手本画像I351が選択されてお手本アルバム20に貼り付けられている。
【0036】
たとえば,お手本画像I1からI50が「新郎新婦入場」のシーンとして同一シーンであることは,お手本画像I1からI50のそれぞれの画像ファイルのヘッダに「新郎新婦入場」とのテキストが記録されていることから判定できる(テキストへの記録は,お手本画像からアルバムを作成する際に作成者により行われる)。すなわち,画像処理装置1は,画像ファイルのヘッダの記録から,お手本画像I1からI50が同一シーンを表していることを認識する。もっとも,この実施例において,機械は必ずしも対象のシーンが新郎新婦入場のシーンであると人間のように理解している必要はない。テキストが異なることにより,シーン同士の区別がつけばよい。
【0037】
たとえば,別の態様においては,お手本画像I1からI50のそれぞれの画像ファイルのヘッダの所定領域には「1」が記録されており,お手本画像I51以降の画像ファイルのヘッダの所定領域には「2」など他のテキストが記録されている。これによりお手本画像I1からI50は同一シーンであり,一方お手本画像I51以降の画像は別のシーンである,と認識できる。シーンに対して「新郎新婦入場」というテキストが関連付けられている必要はなく,シーン同士の区別が付けばよい。
【0038】
以下においては,本発明の説明の便宜上,お手本画像I1からI50「新郎新婦」のテキストがヘッダに記録されており,他のシーンと区別されているものとする。「新郎新婦」入場のシーンに限らず,その他のシーンについても同様である。
【0039】
お手本画像I1からI351には,I1からI351の順番で順位が定められている(この実施例において,お手本画像I1からI351は,結婚式などのイベントの画像であり,そのイベントにおいて行われる「新郎新婦入場」,「主賓あいさつ」などの項目ごとに画像の順番が決められており,順位とは,同一シーンの画像については連続している順番をいう。各項目の順番もイベントごとに定められている)。たとえば,相対的な時刻t0からt1までは「新郎新婦入場」のシーンの画像I1からI50までの順番が連続しており,相対的な時刻t1からt2までは「主賓あいさつ」のシーンの画像I51からI100までの順番が連続しており,相対的な時刻t2からt3までは「ウェディング・ケーキ入刀」のシーンの画像I101からI150までの順番が連続しており,相対的な時刻t3からt4までは「歓談,食事」の画像I151からI200までの順番が連続しており,相対的な時刻t4からt5までは「余興」の画像I201からI250までの順番が連続しており,相対的な時刻t5からt6までは「両親への謝辞」の画像I251からI300までの順番が連続しており,相対的な時刻t6からt7までは「新郎新婦あいさつ」の画像I301からI351までの順番が連続している。お手本画像I1からI351がイベントの項目順に項目ごとに連続して撮影されている場合には,撮影時刻にしたがって順位が決定してもよいし,撮影時刻自体を順位としてもよい。ユーザ画像P1からP120についてもイベントにおいて撮影順に順位がつけられている。ユーザ画像についてもイベントの項目順に項目ごとに連続して撮影されている場合には,撮影時刻にしたがって順位が決定してもよいし,撮影時刻自体を順位としてもよい。
【0040】
図3に戻って,お手本画像I1からI351のそれぞれとユーザ画像P1からP120のそれぞれの組み合わせにおいて画像の類似度が算出される(ステップ23)。その後,算出された類似度が第1のしきい値以上となる,お手本画像とユーザ画像との第1の組み合わせがCPU2(第1の検出手段)によって検出される(ステップ24)。お手本画像I1からI351のそれぞれとユーザ画像P1からP120のそれぞれのうち,類似度が最大の第3の組み合わせであって,類似度が第1のしきい値以上となる,お手本画像とユーザ画像との第1の組み合わせが検出されてもよい。
【0041】
第1のしきい値は,お手本画像とユーザ画像との組み合わせが,あらかじめ決められた数となる程度(たとえば,お手本アルバム20に貼り付けられているお手本画像の数の程度または,イベントで行われる項目より少し多い程度)に調整されている。また,検出された第1の組み合わせの数が多かった場合には,あらかじめ決められた数となる程度にCPU2によって第1のしきい値が調整されながら,第1の組み合わせの検出が繰り返されてもよい。さらに,第1の組み合わせの相対的な時間の間隔が一定以上離れるように,あらかじめ決められた数となる程度に第1の組み合わせの数が調整されてもよい。お手本アルバム20に貼り付けられているお手本画像に相対的な時間が近いお手本画像とユーザ画像との第1の組み合わせを検出してもよいし,お手本アルバム20の見開きページまたは片側のページに複数枚のお手本画像が貼り付けられている場合には見開きページまたは片側のページに貼り付けられている複数枚の画像の相対的な時刻に対応する時刻に撮影されているユーザ画像を含む第1の組み合わせを検出するようにしてもよい。
【0042】
図5に示すように,たとえば,お手本画像I2とユーザ画像P3との組み合わせ,お手本画像I51とユーザ画像P21との組み合わせ,お手本画像I150とユーザ画像P49との組み合わせ,お手本画像I198とユーザ画像P79との組み合わせ,お手本画像I201とユーザ画像P30との組み合わせ,お手本画像I249とユーザ画像P99との組み合わせ,お手本画像I300とユーザ画像P101との組み合わせおよびお手本画像I301とユーザ画像P112との組み合わせの8つの組み合わせが第1の組み合わせとして検出される。検出された第1の組み合わせに含まれるお手本画像のそれぞれはお手本アルバム20に貼り付けられているお手本画像群に含まれていても含まれていなくてもよい。
【0043】
つづいて,検出された第1の組み合わせの中から相対的な順位差が第2のしきい値以内の第2の組み合わせがCPU(第2の検出手段)2によって検出される(ステップ25)。たとえば,お手本画像I1からI351の順位およびユーザ画像P1からP120の順位までを,それぞれ規格化(この場合の規格化とは,お手本画像I1からI351およびユーザ画像P1からP120のうち,お手本画像の最初の画像I1およびユーザ画像の最初の画像P1を0,お手本画像の最後の画像I351およびユーザ画像の最後の画像P120を1とし,異なる画像枚数でも,それぞれの画像の順位を比較できるように尺度を共通化することをいう。)し,規格化されたお手本画像I1からI351の順位とユーザ画像P1からP120の順位とのうち,検出された第1の組み合わせにおけるお手本画像とユーザ画像との差が第2のしきい値以内となる第2の組み合わせが検出されればよい。たとえば,お手本画像I2とユーザ画像P3との組み合わせ,お手本画像I51とユーザ画像P21との組み合わせ,お手本画像I150とユーザ画像P49との組み合わせ,お手本画像I198とユーザ画像P79との組み合わせ,お手本画像I201とユーザ画像P30との組み合わせ,お手本画像I249とユーザ画像P99との組み合わせ,お手本画像I300とユーザ画像P101との組み合わせおよびお手本画像I301とユーザ画像P112との組み合わせの第1の組み合わせのうち,お手本画像I2とユーザ画像P3との組み合わせ,お手本画像I51とユーザ画像P21との組み合わせ,お手本画像I150とユーザ画像P49との組み合わせ,お手本画像I198とユーザ画像P79との組み合わせ,お手本画像I249とユーザ画像P99との組み合わせ,お手本画像I300とユーザ画像P101との組み合わせおよびお手本画像I301とユーザ画像P112との組み合わせの第1の組み合わせでは,お手本画像とユーザ画像との順位差は第2のしきい値以内となるので,これらの第1の組み合わせが第2の組み合わせとして検出される。これに対して,お手本画像I201とユーザ画像P30との第1の組み合わせでは,お手本画像とユーザ画像との順位差は第2のしきい値以内とならないので,第2の組み合わせとならずに,図6に示すように組み合わせが解消される。第1の組み合わせが解消されると,新たに第1の組み合わせを探すようにしてもよい。
【0044】
次に,検出された第2の組み合わせにもとづいて,複数のお手本画像が含まれるお手本画像グループにCPU2(第1のグループ分け手段)によって分けられる。同様に,検出された第2の組み合わせにもとづいて,お手本画像グループに含まれるお手本画像に類似した複数のユーザ画像が含まれるユーザ画像グループにCPU2(第2のグループ分け手段)によって分けられる。すると,お手本画像グループ(サンプル画像グループの一例である)と,そのお手本画像グループに含まれるお手本画像のシーンと同じシーンと見なされるユーザ画像が含まれるユーザ画像グループ(撮影画像グループの一例である)と,の組み合わせがCPU2(第1の決定手段)によって決定される(図4ステップ26)。
【0045】
たとえば,お手本画像I2からI50が同一シーンの第1のお手本画像グループとされ(最初の組み合わせであるお手本画像I2とユーザ画像P3との組み合わせと,次の組み合わせであるお手本画像I51とユーザ画像P21との組み合わせと,に用いられているそれぞれ順位が最も早いお手本画像としてI2およびI51を抽出する。お手本画像I2からお手本画像I51の一つ前のお手本画像I50までが,同一シーンの第1のお手本画像グループとされる。他のお手本画像グループについても同様である),ユーザ画像P3からP20がその同一シーンと同じシーンと見なされる第1のユーザ画像グループとされてクループの組み合わせが決定される(最初の組み合わせであるお手本画像I2とユーザ画像P3との組み合わせと,次の組み合わせであるお手本画像I51とユーザ画像P21との組み合わせと,に用いられているそれぞれ順位が最も早いユーザ画像としてP3およびP21を抽出する。ユーザ画像P3からユーザ画像P21の一つ前のユーザ画像P20までが,同一シーンの第1のユーザ画像グループとされる。他のユーザ画像グループについても同様である)。同様に,お手本画像I51からI149が同一シーンの第2のお手本画像グループとされ,ユーザ画像P21からP48が第2のユーザ画像グループとされてグループの組み合わせが決定され,お手本画像I150からI197が第3のお手本画像グループとされ,ユーザ画像P49からP78が第3のユーザ画像グループとされてグループの組み合わせが決定され,お手本画像I198からI248が第4のお手本画像グループとされ,ユーザ画像P79からP98が第4のユーザ画像グループとされてグループの組み合わせが決定され,お手本画像I249からI299が第5のお手本画像グループとされ,ユーザ画像P99からP100が第5のユーザ画像グループとされてグループの組み合わせが決定され,お手本画像I300が第6のお手本画像グループとされ,ユーザ画像P101からP111が第6のユーザ画像グループとされてグループの組み合わせが決定され,お手本画像I301からI351が第7のお手本画像グループとされ,ユーザ画像P112からP200が第7のユーザ画像グループとされてグループの組み合わせが決定される。グループに含まれる画像の数が所定のしきい値未満の場合には,上述した第1の組み合わせの検出および第2の組み合わせの検出をやり直して,しきい値以上の画像の数となるようにグループの組み合わせが決定されるようにするとよい。
【0046】
つづいて,お手本アルバム20に貼り付けられているお手本画像I20,I65,I132,I151,I201,280およびI351(一のサンプル画像の一例である)との類似度が第3のしきい値以上であるユーザ画像(類似度が最大であるユーザ画像でもよい)が,お手本画像I20,I65,I132,I151,I201,280およびI351のそれぞれが含まれているお手本画像グループとの組み合わせを構成しているユーザ画像グループの中からCPU2(第2の決定手段)によって決定される(ステップ27)。
【0047】
図7に示すように,たとえば,お手本画像I20,I65,I132,I151,I201,I280およびI351のそれぞれからユーザ画像P13,P23,P38,P51,P81,P108およびP120が決定される。お手本画像I249からI299の第5のお手本画像グループと,ユーザ画像P99からP100が第5のユーザ画像グループとのグループの組み合わせの場合,第5のユーザ画像グループに含まれる画像が画像P99および画像P100の2つしかない。これらの画像P99およびP100の中からお手本画像I280に類似した画像を見つけようとしても,わずか2枚の中から見つけることができない場合がある。このような場合には,第5のユーザ画像グループに含まれるユーザ画像P99およびP100に近いユーザ画像も第5のユーザ画像グループに含める。たとえば,P89からP98まで(P99の直前に撮影された10枚)およびP101からP110まで(P100の直後に撮影された10枚)も含めた22枚を第5のユーザ画像グループとする。この中から,お手本アルバム20に貼り付けられているお手本画像I280に類似したユーザ画像P108が決定される。
【0048】
このようにして決定したユーザ画像P13,P23,P38,P51,P81,P108およびP120を用いて,お手本アルバム20を参考にしてユーザ・アルバムがCPU2(ユーザ・アルバム作成手段)によって作成される(ステップ28)。ユーザ画像P13は,お手本画像I20に類似しているからお手本画像I20(一のサンプル画像の一例である)が貼り付けられている位置と同じ位置である,ユーザ・アルバム(写真集のひな形の一例である)の第1頁にCPU2(位置決め手段)によって位置決めされて貼り付けられる。同様に,ユーザ画像P23はお手本画像I65に類似しているからお手本アルバム20の第2頁に貼り付けられ,ユーザ画像P38はお手本画像I132に類似しているからお手本アルバム20の第3頁に貼り付けられ,ユーザ画像P51はお手本画像I151に類似しているからお手本アルバム20の第4頁に貼り付けられ,ユーザ画像P81はお手本画像I201に類似しているからお手本アルバム20の第5頁に貼り付けられ,ユーザ画像P108はお手本画像I280に類似しているからお手本アルバム20の第6頁に貼り付けられ,ユーザ画像P120はお手本画像I351に類似しているからお手本アルバム20の第7頁に貼り付けられる。
【0049】
作成されたユーザ・アルバムおよびお手本アルバムが表示装置3の表示画面に表示される(ステップ29)。
【0050】
図8は,表示装置3の表示画面に表示されるアルバム表示ウインドウ40の一例である。
【0051】
アルバム表示ウインドウ40には,お手本アルバム一覧表示領域41,ユーザ・アルバム一覧表示領域42,お手本アルバム頁表示領域51,ユーザ・アルバム頁表示領域55およびユーザ画像表示領域60が含まれている。
【0052】
お手本アルバム一覧表示領域41には,お手本アルバム20のすべての頁が表示され,お手本アルバム20に貼り付けられているお手本画像I20,I65,I132,I151,I201,I280およびI351が表示されている。ユーザ・アルバム一覧表示領域42には,ユーザ・アルバムのすべての頁が表示され,ユーザ・アルバムに貼り付けられているユーザ画像P13,P23,P38,P51,P81,P108およびP120が表示されている。上述のように,ユーザ・アルバムに貼り付けられているユーザ画像P13,P23,P38,P51,P81,P108およびP120のそれぞれは,お手本アルバム20に貼り付けられているお手本画像I20,I65,I132,I151,I201,I280およびI351のそれぞれに類似しており,かつ同じシーンの画像となっている。ユーザ画像P13,P23,P38,P51,P81,P108およびP120のそれぞれはお手本画像I20,I65,I132,I151,I201,I280およびI351のそれぞれが貼り付けられているお手本アルバム20の各頁に対応するユーザ・アルバムの各頁に貼り付けられている。
【0053】
ユーザ・アルバム一覧表示領域42の下部にはスクロール・ボタン43が形成されている。スクロール・ボタン43を左右にスクロールすることにより,お手本アルバム一覧表示領域41およびユーザ・アルバム一覧表示領域42に表示されていないお手本画像およびユーザ画像がある場合には,それらのお手本画像およびユーザ画像がお手本アルバム一覧表示領域41およびユーザ・アルバム一覧表示領域42に表示される。スクロール・ボタン43が左右にスクロールされることにより,お手本アルバム一覧表示領域41に表示されているお手本アルバム20の各頁およびユーザ・アルバム一覧表示領域42に表示されているユーザ・アルバムの各頁が連動して左右に動くが,連動させなくともよい。
【0054】
図8に示すお手本アルバム頁表示領域51には,お手本アルバム20の第1頁に貼り付けられているお手本画像I20が表示されている。お手本アルバム頁表示領域51の右下には「次頁へ」の文字列が表示されている次頁ボタン53が形成されている。次頁ボタン53がクリックされると,お手本アルバム20の次の頁がお手本アルバム頁表示領域51に表示される。
【0055】
ユーザ・アルバム頁表示領域55には,ユーザ・アルバムの頁に貼り付けられているユーザ画像が表示される。図8に示す例では,ユーザ・アルバム頁表示領域55には,ユーザ・アルバムの第1頁に表示されているユーザ画像P13が表示されている。ユーザ・アルバム頁表示領域55の右下にも次頁ボタン57が形成されている。次頁ボタン57がクリックされると,ユーザ・アルバムの次の頁がユーザ・アルバム頁表示領域55に表示される。
【0056】
次頁ボタン53および57のいずれかのみ形成し,いずれかのクリックに応じて,お手本アルバム頁表示領域51およびユーザ・アルバム頁表示領域55に表示されている頁の次の頁が連動してお手本アルバム頁表示領域51およびユーザ・アルバム頁表示領域55に表示されるようにしてもよい。お手本アルバム20とユーザ・アルバムとの対応する頁をユーザが比較して確認できる。
【0057】
ユーザ画像表示領域60には,ユーザ画像61(ユーザ画像P1からP120)が表示されている。ユーザ画像表示領域60の右側には上下に移動可能なスクロール・ボタン62が形成されている。スクロール・ボタン62が上下されることにより,ユーザ画像表示領域60に表示されていないユーザ画像61がユーザ画像表示領域60に現れる。
【0058】
次頁ボタン53および57がクリックされると,アルバム表示ウインドウ40は,図9に示すものとなる。
【0059】
図9を参照して,お手本アルバム頁表示領域51には,お手本アルバム20の第2頁に貼り付けられているお手本画像I65およびお手本アルバム20の第3頁に貼り付けられているお手本画像I132が表示されている。お手本アルバム頁表示領域51の左下には「前頁へ」の文字列が表示されている前頁ボタン52が形成されている。
【0060】
ユーザ・アルバム頁表示領域55には,ユーザ・アルバムの第2頁に貼り付けられているユーザ画像P23およびユーザ・アルバムの第3頁に貼り付けられているユーザ画像P38が表示されている。ユーザ・アルバム頁表示領域55の左下にも前頁ボタン56が形成されている。
【0061】
前頁ボタン52および56のいずれかのみ形成し,いずれかのクリックに応じて,お手本アルバム頁表示領域51およびユーザ・アルバム頁表示領域55に表示されている頁の前の頁が連動してお手本アルバム頁表示領域51およびユーザ・アルバム頁表示領域55に表示されるようにしてもよい。この場合も,お手本アルバム20とユーザ・アルバムとの対応する頁をユーザが比較して確認できる。
【0062】
次頁ボタン53および57がクリックされると,アルバム表示ウインドウ40は,図10に示すものとなる。
【0063】
図10を参照して,お手本アルバム頁表示領域51には,お手本アルバム20の第4頁および第5頁に貼り付けられているお手本画像I151およびI201が表示されている。ユーザ・アルバム頁表示領域55には,ユーザ・アルバムの第4頁および第5頁に貼り付けられているユーザ画像P51およびP81が表示されている。
【0064】
次頁ボタン53および57がクリックされると,アルバム表示ウインドウ40は,図11に示すものとなる。
【0065】
図11を参照して,お手本アルバム頁表示領域51には,お手本アルバム20の第6頁および第7頁に貼り付けられているお手本画像I280およびI351が表示されている。ユーザ・アルバム頁表示領域55には,ユーザ・アルバムの第6頁および第7頁に貼り付けられているユーザ画像P108およびP120が表示されている。
【0066】
ユーザ・アルバムに貼り付けられているユーザ画像を変更したい場合には(図4ステップ30でYES),ユーザ画像を変更したいユーザ・アルバムの頁がユーザ・アルバム頁表示領域55に表示される。ユーザ画像表示領域60に表示されているユーザ画像61の中から所望のユーザ画像が選択され,変更したいユーザ画像上にドラッグ・アンド・ドロップされる。これにより,ユーザ画像の変更が行われる(ステップ31)。
【0067】
第1実施例では,第1の組み合わせの中から順位差が第2のしきい値以内の第2の組み合わせを検出し,その第2の組み合わせにもとづいてお手本画像グループおよびユーザ画像グループが生成され,お手本アルバム20に貼り付けられているお手本画像I20,I65,I132,I151,I201,I280およびI351に類似したユーザ画像P13,P23,P38,P51,P81,P108およびP120を検出しているから,お手本アルバム20に貼り付けられているお手本画像に類似した画像として異なるシーンのユーザ画像が検出されてしまうことが未然に防止される。
【0068】
[変形例]
第1実施例においては,第2の組み合わせを構成するお手本画像とユーザ画像とのうち,お手本画像から,次の第2の組み合わせを構成するお手本画像の一つ前のお手本画像までをお手本画像グループとし,ユーザ画像から,次の第2の組み合わせを構成するユーザ画像の一つ前のユーザ画像までをユーザ画像グループとしている。このように,検出された第2の組み合わせのうち順位が隣接している2つの第2の組み合わせの間に存在する2つ以上のお手本画像と2つ以上のユーザ画像とを,お手本画像グループとユーザ画像グループと決定してもよいが,検出された第2の組み合わせのうち,順位が,一の第2の組み合わせの前後の第2の組み合わせの間に存在する2つ以上のお手本画像と2つ以上のユーザ画像とを,お手本画像グループとユーザ画像グループとに決定してもよい。
【0069】
たとえば,図6を参照して,一の第2の組み合わせをお手本画像I51とユーザ画像P21との組み合わせとすると,前後の第2の組み合わせは,お手本画像I2とユーザ画像P3との組み合わせと,お手本画像I150とユーザ画像P49との組み合わせとなる。お手本画像I2とユーザ画像P3との組み合わせと,お手本画像I51とユーザ画像P21との一の組み合わせとの間に存在するお手本画像I25から,お手本画像I51とユーザ画像P21との一の組み合わせと,お手本画像I150とユーザ画像P49との組み合わせの間に存在するお手本画像I100までのお手本画像がお手本画像グループとなる。同様に,ユーザ画像P11からP36までのユーザ画像が,お手本画像グループに対応するユーザ画像グループとなる。
【0070】
また,検出された第2の組み合わせのうち順位が異なる2つの第2の組み合わせの間に存在する2つ以上のお手本画像と2つ以上のユーザ画像とを,お手本画像グループとユーザ画像グループと決定してもよい。
【0071】
たとえば,図6を参照して,2つの第2の組み合わせのうち,一つ目の第2の組み合わせをお手本画像I2とユーザ画像P3との組み合わせとし,二つ目の第2の組み合わせをお手本画像I150とユーザ画像P49との組み合わせとすると,お手本画像I2とユーザ画像P3との組み合わせと,お手本画像I150とユーザ画像P49との組み合わせとの間に存在するお手本画像I2(またはI3)からお手本画像I149(またはI150)までのお手本画像がお手本画像グループとなる。同様に,ユーザ画像P3(またはP4)からP48(またはP49)までのユーザ画像が,お手本画像グループに対応するユーザ画像グループとなる。2つの第2の組み合わせの間に存在する2つ以上のお手本画像と2つ以上のユーザ画像とを,お手本画像グループとユーザ画像グループと決定すればよいから,お手本画像グループは,たとえば,お手本画像I2からI149のうち任意の2つ以上の画像であればよく,同様に,ユーザ画像グループも,たとえば,ユーザ画像P3からP48のうち任意の2つ以上の画像であればよい。
【0072】
お手本画像グループとユーザ画像グループとを適切に決定することができ,よりお手本アルバムに近いユーザ・アルバムが作成できるようになる。
【0073】
上述した実施例における画像処理装置1は,専用装置を用いて構成してもよいが,スマートフォン,パーソナル・コンピュータ,タブレット端末などを利用して構成することもできる。
【0074】
上述の処理を実行する処理部には,ソフトウエアを実行して各種の処理部として機能するCPU2のほかに,FPGA(field-programmable gate array)などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス,ASIC(application specific integrated circuit)などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0075】
1つの処理部は,これらの各種のプロセッサのうちの1つで構成されてもよいし,同種または異種の2つ以上のプロセッサの組合せ(たとえば,複数のFPGA,CPUとFPGAの組合せ)で構成されてもよい。複数の処理部を1つのプロセッサで構成する例としては,第1に,クライアント・コンピュータやサーバなどのコンピュータに代表されるように,1つ以上のCPUとソフトウエアの組合せで1つのプロセッサを構成し,このプロセッサが複数の処理部として機能する形態がある。第2に,システム・オン・チップなどに代表されるように,複数の処理部を含むシステム全体の機能を1つのIC(integrated circuit)チップで実現するプロセッサを使用する形態がある。このように,各種の処理部は,ハードウエア的な構造として各種のプロセッサを1つ以上用いて構成される。
【0076】
さらに,これらの各種のプロセッサのハードウエア的な構造は,より具体的には,半導体素子などの回路素子を組合せた電気回路である。
【符号の説明】
【0077】
1:画像処理装置,2:CPU,3:表示装置,4:通信装置,5:ハード・ディスク,6:ハード・ディスク・ドライブ,7:メモリ,8:キーボード,9:マウス,10:コンパクト・ディスク・ドライブ,11:コンパクト・ディスク,12:メモリ・カード・リーダ・ライタ,13:メモリ・カード,20:お手本アルバム,40:アルバム表示ウインドウ,41:お手本アルバム一覧表示領域,42:ユーザ・アルバム一覧表示領域,43:スクロール・ボタン,51:お手本アルバム頁表示領域,52:前頁ボタン,53:次頁ボタン,55 :アルバム頁表示領域,56:前頁ボタン,57:次頁ボタン,60:ユーザ画像表示領域,61:ユーザ画像,62:スクロール・ボタン,I1-I351:お手本画像,P1-P120:ユーザ画像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11