(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】劣化検査装置、劣化検査方法、情報処理システムおよびコンピュータプログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20241001BHJP
【FI】
G06Q50/10
(21)【出願番号】P 2022046295
(22)【出願日】2022-03-23
【審査請求日】2023-07-14
(73)【特許権者】
【識別番号】000227205
【氏名又は名称】NECプラットフォームズ株式会社
(74)【代理人】
【識別番号】100109313
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】岩田 直己
【審査官】塩屋 雅弘
(56)【参考文献】
【文献】特開2021-193630(JP,A)
【文献】特開2005-182352(JP,A)
【文献】特開平05-242150(JP,A)
【文献】中国特許出願公開第113934908(CN,A)
【文献】中国特許出願公開第113109351(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00ー99/00
(57)【特許請求の範囲】
【請求項1】
検査対象の本の画像の入力画像情報および前記本を初期状態で撮影した基準画像の基準画像情報を取得する画像情報取得部と、
前記入力画像情報と前記基準画像情報との差分を算出する差分算出部と、
前記差分とあらかじめ設定された閾値との比較結果に基づいて、前記本の劣化の度合いを特定する特定部と
、
前記入力画像情報から、前記検査対象の本を識別するための情報を抽出する抽出部と、
ログデータと、抽出された前記本を識別するための情報とを用いて、前記検査対象の本の劣化の原因を推定する推定部と、
を備え
、
前記ログデータは、少なくとも、前記本を識別するための情報、特定された前記劣化の度合い、前記劣化の度合いを特定した日時、および前記検査対象の本を使用した回数を関連付けたデータである、劣化検査装置。
【請求項2】
前記劣化の原因は、経年劣化または使用劣化のいずれかである、請求項1に記載の劣化検査装置。
【請求項3】
前記本を識別するための情報に基づいて、前記基準画像と当該基準画像に対応する本を識別するための情報とを関連付けて記憶する基準画像記憶部から、抽出された前記本を識別するための情報に対応する画像を抽出する検索部と、
前記検索部によって抽出された画像を
前記基準画像として取得する基準画像取得部と、
前記検査対象の本についての前記本を識別するための情報と、前記劣化の度合いと、前記劣化の度合いを特定した日時と、前記検査対象の本を使用した回数とを関連付けて前記ログデータとしてログ記憶部に記憶させ、かつ、前記基準画像と当該基準画像に対応する本を識別するための情報とを関連付けて基準画像記憶部に記憶させる記憶制御部とをさらに備え
る、
請求項1
または2に記載の劣化検査装置。
【請求項4】
前記基準画像記憶部に前記本に関する前記基準画像が格納されていない場合、前記検索部は、前記初期状態の本の画像と当該本を識別するための情報とが関連付けられて記憶されているサーバから前記基準画像を抽出する、請求項3記載の劣化検査装置。
【請求項5】
請求項1乃至4のいずれか一項に記載の劣化検査装置と、
前記検査対象の本を撮影する撮影装置と、
前記初期状態の本の画像と当該本を識別するための情報とが関連付けられて記憶されているサーバと、
前記劣化検査装置による結果を出力する出力装置と
を備える、情報処理システム。
【請求項6】
本棚から本が取り出されたことを検知すると、前記撮影装置が前記本を前記検査対象の本として撮影する、
請求項5に記載の情報処理システム。
【請求項7】
請求項
1乃至4のいずれか1項に記載の劣化検査装置と、
前記検査対象の本を撮影する撮影装置と、
前記初期状態の本の画像と当該本を識別するための情報とが関連付けられて記憶されているサーバと、
前記劣化検査装置に前記ログデータの要求をする端末装置と
を備え、
前記要求は、前記本を識別するための情報を含み、
前記劣化検査装置は、前記要求を受信すると、前記ログデータから当該本を識別するための情報に対応する本に関してのログデータを抽出し、前記端末装置へ前記抽出したログデータを送信する、情報処理システム。
【請求項8】
前記端末装置は、前記抽出したログデータを、前記端末装置から接続可能な所定の接続先へ送信する、
請求項7に記載の情報処理システム。
【請求項9】
コンピュータが、
検査対象の本の画像の入力画像情報および前記本を初期状態で撮影した基準画像の基準画像情報を取得し、
前記入力画像情報と前記基準画像情報との差分を算出し、
前記差分とあらかじめ設定された閾値との比較結果に基づいて、前記本の劣化の度合いを特定
し、
前記入力画像情報から、前記検査対象の本を識別するための情報を抽出し、
ログデータと、抽出された前記本を識別するための情報とを用いて、前記検査対象の本の劣化の原因を推定し、
前記ログデータは、少なくとも、前記本を識別するための情報と、特定された前記劣化の度合いと、前記劣化の度合いを特定した日時と、前記検査対象の本を使用した回数とを関連付けたデータである、
劣化検査方法。
【請求項10】
コンピュータに、
検査対象の本の画像の入力画像情報および前記本を初期状態で撮影した基準画像の基準画像情報を取得する処理と、
前記入力画像情報と前記基準画像情報との差分を算出する処理と、
前記差分とあらかじめ設定された閾値との比較結果に基づいて、前記本の劣化の度合いを特定する処理と
、
前記入力画像情報から、前記検査対象の本を識別するための情報を抽出する処理と、
ログデータと、抽出された前記本を識別するための情報とを用いて、前記検査対象の本の劣化の原因を推定する処理と、を実行させ、
前記ログデータは、少なくとも、前記本を識別するための情報と、特定された前記劣化の度合いと、前記劣化の度合いを特定した日時と、前記検査対象の本を使用した回数とを関連付けたデータである、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、本の劣化の度合いを特定する劣化検査装置等に関する。
【背景技術】
【0002】
物体の劣化を判断する技術の一例が、特許文献1および特許文献2に記載されている。
【0003】
特許文献1には、自動書庫のラック内の場所による湿度のばらつきを少なくすることを目的とした技術が記載されている。システム管理器は、自動書庫内で環境が悪化している部分があるか否かを判断する。環境が悪化している部分があれば、システム管理器は、悪化している部分の写真や動画を撮影し、その撮影データを管理者の端末へ送信する。管理者は、受信した撮影画像(あるいは動画)から劣化度を判断する。
【0004】
特許文献2には、紙等の薄いシート状の製品の製造過程において行われる、地合(繊維の分布状態)の検査装置が記載されている。検査装置は、地合分布画像に対して画像処理を行うことで劣化領域を特定し、各劣化領域の画像特性を評価して、欠陥領域および欠陥種類を判定する。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2016-108155号公報
【文献】特開2012-251988号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
上述した特許文献1に記載された技術において、劣化の度合いである劣化度の判定は管理者の目視によって行われる。したがって、判定に相応の時間がかかるという問題がある。
【0007】
また、上述した特許文献2に記載された検査装置には、劣化の進みや劣化レベルなどの劣化の度合いを判定することはできないという問題がある。
【0008】
本発明は、上記課題を解決するためになされたものであり、本の劣化の度合いを容易に検査することが可能な劣化検査装置等を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するために、本発明の劣化検査装置は、検査対象の本の画像の入力画像情報および本を初期状態で撮影した基準画像の基準画像情報を取得する画像情報取得部と、入力画像情報と基準画像情報との差分を算出する差分算出部と、差分とあらかじめ設定された閾値との比較結果に基づいて、本の劣化の度合いを特定する特定部とを備える。
【0010】
本発明の劣化検査方法は、検査対象の本の画像の入力画像情報および本を初期状態で撮影した基準画像の基準画像情報を取得し、入力画像情報と基準画像情報との差分を算出し、差分とあらかじめ設定された閾値との比較結果に基づいて、本の劣化の度合いを特定する。
【0011】
本発明のコンピュータプログラムは、コンピュータに、検査対象の本の入力画像の画像情報および本を初期状態で撮影した基準画像の基準画像情報を取得する処理と、入力画像情報と基準画像情報との差分を算出する処理と、差分とあらかじめ設定された閾値との比較結果に基づいて、前記本の劣化の度合いを特定する処理とを実行させる。
【発明の効果】
【0012】
本発明は、本の劣化の度合いを容易に検査することを可能にする。
【図面の簡単な説明】
【0013】
【
図1】第一実施形態における情報処理システム1の構成例を示す図である。
【
図2】第一実施形態における劣化検査装置100の構成を示すブロック図である。
【
図3】第一実施形態における劣化検査装置100の動作例を示すフローチャートである。
【
図4】第二実施形態における情報処理システム1の構成例を示す図である。
【
図5】第二実施形態における劣化検査装置100の動作例を示すフローチャートである。
【
図6】第三実施形態における情報処理システム1の構成例を示す図である。
【
図7】第三実施形態におけるログ記憶部110が記憶するログデータの一例である。
【
図8】第三実施形態における劣化検査装置100の動作例を示すフローチャートである。
【
図9】第一の具体例における情報処理システム1の構成例を示す図である。
【
図10】第二の具体例における情報処理システム1の構成例を示す図である。
【
図11】第二の具体例における劣化検査装置100の動作例の一部を示す図である。
【
図12】本開示における劣化検査装置100を、プロセッサを含むコンピュータ装置10で実現したハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0014】
以下に、本発明に係る実施形態を、図面を参照しながら詳細に説明する。
【0015】
[第一実施形態]
図1は、第一実施形態における情報処理システム1の構成例を示す図である。情報処理システム1は、劣化検査装置100と、撮影装置200と、サーバ300と、出力装置400から構成される。
【0016】
撮影装置200は、検査対象の本を撮影した画像(以下、入力画像ともいう)を出力する。ここで、画像とは、例えば、入力画像の全画素の画素データを所定の符号化処理で圧縮したデータである。画像は、符号化されていない画像データであってもよい。撮影装置200は、劣化検査装置100と情報通信網を介して、あるいは、直接的に接続されている。撮影装置200は、入力画像を劣化検査装置100へ送信する。
【0017】
サーバ300には、当該検査対象の本を初期状態で撮影した画像が記憶されている。ここで、初期状態とは、例えば新品の際の状態や、図書館等の施設において最初に入荷された時の状態を指す。具体的に、サーバ300は、検査対象の本を初期状態で撮影した画像の全画素の画素データあるいは圧縮された画像データを記憶手段(図示せず)に記憶させていてもよい。なお、本発明においてサーバ300は、記憶手段を内蔵しているものとする。サーバ300は、検査対象の本を初期状態で撮影した画像を基準画像として記憶する。サーバ300もまた、劣化検査装置100と情報通信網を介して、あるいは、中継装置(図示せず)を介して接続されている。サーバ300は、検査対象の本を初期状態で撮影した画像を、基準画像として劣化検査装置100へ送信する。ここで、基準画像とは、検査対象の本の劣化の度合いを特定するにあたって比較の基準とする画像を指す。
【0018】
劣化検査装置100は、撮影装置200から受信した入力画像と、サーバ300から受信した基準画像とを比較することで劣化検査を行い、本の劣化の度合いを特定する。劣化検査装置100は、劣化検査の結果を出力装置400へ送信する。
【0019】
出力装置400は、劣化検査装置100の検査結果を表示する。そのため、出力装置400は、ディスプレイ等の表示部(図示せず)を備えている。出力装置400もまた、劣化検査装置100と情報通信網を介して、あるいは、直接的に接続されている。出力装置400は、劣化検査装置100から劣化検査の結果を受信し、表示部にその結果を表示する。
【0020】
ここで、入力画像と基準画像とは統一された明るさで撮影されることが望ましい。両画像が統一された明るさで撮影されていない場合、情報処理システム1は、例えば、両画像を正規化することにより明るさを統一する構成をさらに備えてもよい。また、入力画像と基準画像とは同一の構図から撮影された画像であることが望ましい。両画像が同一の構図から撮影されていない場合、情報処理システム1は、例えば座標軸変換処理によって、両画像を補正することにより位置合わせを行う構成をさらに備えるようにしてもよい。
【0021】
次に、第一実施形態における劣化検査装置100の構成について詳細に説明する。
【0022】
図2は、第一実施形態における劣化検査装置100の構成を示すブロック図である。
図1を参照すると、劣化検査装置100は、画像情報取得部101と、差分算出部102と、特定部103とを備える。
【0023】
画像情報取得部101は、検査対象の本の画像の画像情報(以下、入力画像情報ともいう)と、基準画像の画像情報(以下、基準画像情報という)を取得する。ここで、本実施形態における画像情報とは、例えば、本の領域における各画素のRGB(Red-Green-Blue color model)値を指す。
【0024】
本実施形態において、画像情報取得部101は、入力画像情報を以下のように算出する。まず、画像情報取得部101は、撮影装置200から受信した入力画像に対し、画像フレームの各画素のRGB値を数値化する。次に、画像情報取得部101は、数値化されたRGB値に基づいて、検査対象の本の領域と、本の領域以外の背景領域とを区別する。次に、画像情報取得部101は、本の領域の画素のRGB値を入力画像情報として取得する。例えば、画像情報取得部101は、機械学習で学習された学習モデルを用いて、検査対象の本の領域と背景領域とを区別してもよい。あるいは、あらかじめ本の領域のRGB値について閾値を定めておき、閾値によって検査対象の本の領域と背景領域とを区別してもよい。この場合、撮影装置200は、入力画像を撮影する際に、検査対象の本のRGB値と異なるRGB値の背景で入力画像を撮影することが望ましい。
【0025】
また、本実施形態において、基準画像情報は以下のように算出される。画像情報取得部101は、サーバ300から受信した基準画像の各画素のRGB値を数値化する。次に、画像情報取得部101は、数値化されたRGB値に基づいて、検査対象の本の領域と、本の領域以外の背景領域とを区別する。次に、画像情報取得部101は、本の領域の画素のRGB値を基準画像情報として取得する。
【0026】
差分算出部102は、入力画像情報と基準画像情報との差分を算出する。差分算出部102は、具体的には以下のような手順で差分を算出する。まず、差分算出部102は、入力画像と基準画像との対応する画素について、RGB値の差分の絶対値を算出する。例えば、差分算出部102は、各画素について、R値、G値またはB値の差分の絶対値を、画素のRGB値の差分の絶対値として算出してもよい。次に、差分算出部102は、全画素についてRGB値の差分の絶対値の平均値(以下、差分平均値という)を算出する。なお、差分算出部102は、入力画像情報と基準画像情報とが明るさに応じて互いに正規化されたRGB値に対し、差分平均値を算出してもよい。差分平均値は、R値、G値、B値の各々に対して、あるいは、ある特定の画素に対して所定の重みを加えた加重平均値としてもよいし、幾何平均値としてもよい。
【0027】
特定部103は、差分算出部102が算出した差分とあらかじめ設定された閾値との比較結果に基づいて、本の劣化の度合いを特定する。
【0028】
特定部103は、第1~第X(Xは自然数とする)の閾値n1、n2、…、nX(n1<n2<…<nX)と、劣化度合いを表すランクA、B、C、D、…とをあらかじめ記憶している。ここで、劣化度合いを表すランクは、アルファベット順に並んでいる。劣化度合いを表すランクは、Aに近いほど劣化度合いが低く、Aから遠いほど劣化度合いが高いものとする。換言すると、劣化の進みまたはレベルは、Aに近いほど劣化の進みまたはレベルが小さく、Aから離れるほど劣化の進みまたはレベルが大きいと推定できる。例えば、特定部103は、差分平均値と上記閾値とを比較し、差分平均値がn1以下であれば劣化度合いのランクをA、差分平均値がn1を超え、n2以下であれば劣化度合いのランクをB、差分平均値がn2を超え、n3以下であれば劣化度合いのランクをC、差分平均値がn3を超え、n4以下であれば劣化度合いのランクをDと特定する。なお、第1~第Xの閾値の値は、あらかじめユーザや管理者によって設定されているものとする。
【0029】
次に、第一実施形態における劣化検査装置100の動作の一例について、
図3のフローチャートを参照して説明する。
【0030】
劣化検査装置100は、一例として、撮影装置200から入力画像を受信し、サーバ300から基準画像を受信することにより処理を開始する。画像情報取得部101は、入力画像から入力画像情報を取得する(ステップS101)。また、画像情報取得部101は、基準画像から基準画像情報を取得する(ステップS102)。
【0031】
次に、差分算出部102は、入力画像情報と基準画像情報との差分平均値を算出する(ステップS103)。特定部103は、差分平均値と、第1~第Xの閾値とを比較することにより、本の劣化の度合いを特定する(ステップS103)。劣化検査装置100は、以上の動作を終えた後、処理を終了する。
【0032】
第一実施形態における劣化検査装置100は上記のように構成されている。次に、第一実施形態の効果について説明する。
【0033】
上述したように、劣化検査装置100は、入力画像の入力画像情報と基準画像の基準画像情報を取得し、それらの差分を算出し、差分とあらかじめ設定された閾値との比較結果に基づいて劣化の度合いを特定する。換言すれば、第一実施形態における劣化検査装置100は、本の劣化の度合いを容易に検査することができる。
【0034】
第一実施形態における劣化検査装置100は、以下のように変形してもよい。
【0035】
本実施形態では、撮影装置200と出力装置400とが別々の構成として説明したが、同一の構成であってもよい。例えば、撮影機能および出力機能を備えたスマートフォン等の端末や、劣化検査装置100の管理者が所持する端末が、撮影装置としても出力装置としても機能するようにしてもよい。
【0036】
本実施形態では、劣化検査装置100は、画像情報取得部101、差分算出部102、特定部103を備える構成としたが、以下のように構成されていてもよい。例えば、劣化検査装置100は、検査対象の本の画像から、あらかじめ決められた種類の劣化を含む画像領域を検出する検出部(図示せず)をさらに備える構成としてもよい。あらかじめ決められた種類の劣化とは、例えば、本の傷や、汚れ、折れ等を指す。劣化検査装置100が検出部を備える構成とする場合、特定部103は以下のように構成されていてもよい。特定部103は、例えば、あらかじめ決められた種類の劣化毎に、劣化度合いを表すランクに応じた閾値を記憶する。特定部103は、検出部が検出した画像領域に対して、差分算出部102が算出した差分とあらかじめ設定された閾値との比較結果に基づいて、あらかじめ決められた種類の劣化毎に劣化の度合いを特定するものとする。
【0037】
より具体的には、本の傷や、汚れ、折れ等について人の感覚に基づく劣化度合いに応じて、RGB値の閾値がそれぞれ設定されていてもよい。すなわち、本の傷や、汚れ、折れ等について人が同程度と感じられる劣化度合いに応じて、RGB値の閾値がそれぞれ設定されていてもよい。このような構成によれば、あらかじめ決められた種類の劣化について、人の感覚に対して違和感ない劣化度合いを設定することができる。
【0038】
[第二実施形態]
以下に、本発明に係る第二実施形態を説明する。なお、この第二実施形態の説明において、第一実施形態と同一名称部分には同符号を付し、詳細な説明を省略する。
【0039】
図4は、第二実施形態における情報処理システム1の構成例を示す図である。第二実施形態における情報処理システム1は、劣化検査装置100と、撮影装置200と、サーバ300と、出力装置400から構成される。
【0040】
第二実施形態において、撮影装置200は、本を識別するための情報を持つ画像領域を含むようにして検査対象の本を撮影する。また、撮影装置200は、撮影した画像を入力画像として出力する。第二実施形態において、本を識別するための情報とは、その情報により該当する本を1冊に特定するための情報である。本を識別するための情報は、例えば、本のタイトル、著者名、およびISBN(International Standard Book Number)等を表すテキストデータを指す。
【0041】
サーバ300が記憶する検査対象の本を初期状態で撮影した画像も、本を識別するための情報を持つ画像領域を含む。サーバ300は、検査対象の本を初期状態で撮影した画像と、当該画像の本を識別するための情報とを関連付けて、本のデータとしてあらかじめ記憶する。ここで、サーバ300が本のデータを記憶するタイミングは、本の劣化度合いの検査前であってもよい。例えば、検査対象の本が施設等に最初に入荷された時点で本のデータを記憶してもよい。具体的には、劣化検査装置100は、入荷時の本を撮影装置200で撮影した画像と、入力部(図示せず)のキー操作によって入力した本のタイトル、著者名およびISBNのテキストデータとを関連付けて、サーバ300に記憶させてもよい。
【0042】
第二実施形態における劣化検査装置100は、画像情報取得部101、差分算出部102、特定部103に加え、新たに入力部104と、抽出部105と、検索部106と、基準画像取得部107と、基準画像記憶部108と、記憶制御部109とを備える。
【0043】
入力部104は、検査対象の本を撮影した画像の画像情報を入力する。具体的には、入力部104は、撮影装置200から送信された入力画像を取得する。また、入力部104は、取得した入力画像を画像情報取得部101へ出力する。
【0044】
抽出部105は、検査対象の本の画像情報から、本を識別するための情報を抽出する。具体的には、抽出部105は、画像情報取得部101で取得された入力画像情報に対して文字認識の処理を行うことによって、本を識別するための情報を抽出する。本を識別するための情報とは、前述したように、本のタイトル、著者名およびISBN等に相当するテキストデータを指す。抽出部105は、文字認識処理によって入力画像情報から本を識別するための情報を抽出する。また、抽出部105は、検索部106へ抽出した本を識別するための情報を出力する。
【0045】
検索部106は、検査対象の本を識別するための情報に対応する画像を抽出する。具体的には、検索部106は、抽出部105から取得した本を識別するための情報に基づいて、本のタイトル、著者名およびISBNを表すテキストデータに対応する画像を、基準画像として、基準画像記憶部108あるいはサーバ300から検索し、抽出する。
【0046】
基準画像取得部107は、検索部によって抽出された基準画像を取得する。具体的には、基準画像取得部107は、検索部106によって基準画像記憶部108あるいはサーバ300から抽出された基準画像を取得する。また、基準画像取得部107は、取得した基準画像と当該基準画像に対応する本を識別するための情報とを関連付けた本のデータを、基準画像記憶部108に格納する。
【0047】
基準画像記憶部108は、基準画像と当該基準画像に対応する本を識別するための情報とを関連付けて記憶する。基準画像記憶部108は、必ずしも劣化検査装置100の構成として含まれる必要はない。例えば、基準画像記憶部108は、劣化検査装置100の外部に接続された記憶装置(図示せず)であってもよい。
【0048】
記憶制御部109は、基準画像と当該基準画像に対応する本を識別するための情報とを関連付けて基準画像記憶部108に記憶させる。
【0049】
基準画像記憶部108には、サーバ300が保持する、前述した本のデータのうちの一部が記憶制御部109によって記憶されてもよい。例えば、基準画像記憶部108に記憶される本のデータは、劣化検査装置100に接続された制御部(図示せず)によって、サーバ300が保持する本のデータのうち、劣化検査装置100を管理する施設である図書館や古本屋等が保管している本のデータのみを記憶してもよい。なお、基準画像記憶部108がサーバ300から本のデータのうちの一部を記憶するタイミングは限定されない。
【0050】
あるいは、基準画像記憶部108には、検索部106によってサーバ300から過去に1回以上検索された本のデータが記憶制御部109によって記憶されてもよい。
【0051】
次に、第二実施形態における劣化検査装置100の動作について、
図5のフローチャートを参照して説明する。
【0052】
第二実施形態における劣化検査装置100は、一例として、撮影装置200から入力画像を受信することにより処理を開始する。まず、入力部104は、撮影装置200が撮影した入力画像を取得する(ステップS201)。次に、画像情報取得部101は、入力部104が入力した入力画像から、検査対象の本の入力画像情報を取得する(ステップS202)。
【0053】
次に、抽出部105は、画像情報取得部101によって得られた入力画像情報から本を識別するための情報を抽出する(ステップS203)。つまり、抽出部105は、例えば、本のタイトル、著者名、およびISBNを表すテキストデータを、本を識別するための情報として入力画像情報から抽出する。
【0054】
次に、検索部106は、当該本を識別するための情報に関連付けられた画像を基準画像記憶部108から検索して抽出し(ステップS204)、基準画像記憶部108に本を識別するための情報に対応する画像があるか否かの判定を行う(ステップS205)。判定の結果、本を識別するための情報に対応する画像がある場合(ステップS205のYes)、検索部106は、当該画像を抽出して基準画像取得部107に出力する。基準画像取得部107は、当該画像を基準画像として取得する(ステップS207)。一方で、本を識別するための情報に対応する画像が基準画像記憶部108にない場合(ステップS205のNo)、検索部106は、当該本を識別するための情報に対応する画像をサーバ300から検索して抽出し(ステップS206)、抽出した画像を基準画像取得部107に出力する。基準画像取得部107は、当該画像を基準画像として取得する(ステップS207)。なお、検索部106は、ステップS206の処理で、当該本を識別するための情報に対応する画像がサーバ300から抽出できなかった場合、その旨を出力装置400に表示させて処理を終了する。
【0055】
次に、画像情報取得部101は、基準画像取得部107が取得した基準画像から、基準画像情報を取得する(ステップS208)。
【0056】
次に、差分算出部102は、ステップS202で得られた入力画像情報と、ステップS208で得られた基準画像情報との差分平均値を算出する(ステップS209)。特定部103は、差分平均値と、第1~第Xの閾値とを比較することにより、本の劣化の度合いを特定する(ステップS210)。劣化検査装置100は、以上の動作を終えた後、処理を終了する。
【0057】
第二実施形態における劣化検査装置100は上記のように構成されている。第二実施形態における劣化検査装置100は、第一実施形態で説明した効果に加え、以下のような効果を得ることができる。
【0058】
上述した劣化検査装置100は、入力画像情報から本を識別するための情報を抽出し、基準画像記憶部108もしくはサーバ300に記憶される複数の画像の中から、当該本を識別するための情報に対応する画像を特定する。換言すれば、第二実施形態における劣化検査装置100は、本を識別するための情報に基づいて、複数ある画像の中から、検査対象の本の画像に対応するものを容易に特定し、基準画像情報を取得することができる。
【0059】
また、上述した劣化検査装置100は、基準画像記憶部108を備え、基準画像記憶部108に検査対象の本に関する基準画像情報が格納されていない場合、基準画像取得部107はサーバ300から基準画像情報を取得する。そのため、基準画像取得部107は、本の検査の度にサーバ300にアクセスする必要がない。したがって、基準画像情報を取得するための処理時間を短縮できる。
【0060】
第二実施形態における劣化検査装置100は、以下のように変形してもよい。
【0061】
本実施形態の劣化検査装置100は、基準画像記憶部108を備えるものとしたが、上記構成に限定されない。例えば、劣化検査装置100は基準画像記憶部108を備えず、検索部106はサーバ300のみから検索を行う構成としてもよい。
【0062】
[第三実施形態]
以下に、本発明に係る第三実施形態を説明する。なお、この第三実施形態の説明において、第一実施形態および第二実施形態と同一名称部分には同符号を付し、詳細な説明を省略する。
【0063】
図6は、第三実施形態における情報処理システム1の構成例を示す図である。第三実施形態における情報処理システム1は、劣化検査装置100と、撮影装置200と、サーバ300と、出力装置400から構成される。
【0064】
第三実施形態における出力装置400は、劣化検査装置100の検査結果を表示する。具体的には、出力装置400は、特定部103が特定した劣化の度合いと、後述するログ記憶部110が記憶するログデータと、後述する推定部111が推定した劣化の原因とを表示する。したがって、出力装置400は、特定部103、ログ記憶部110および推定部111と、情報通信網を介して、あるいは、直接的に接続されている。
【0065】
第二実施形態における劣化検査装置100は、第二実施形態の構成に加え、新たにログ記憶部110と、推定部111を備える。
【0066】
ログ記憶部110は、少なくとも、本を識別するための情報と、前記劣化の度合いと、劣化の度合いを特定した日時と、当該本を使用した回数とを関連付けてログデータとして記憶する。ログ記憶部110は、必ずしも劣化検査装置100の構成として含まれる必要はない。例えば、ログ記憶部110は、劣化検査装置100の外部に接続された記憶装置(図示せず)であってもよい。
【0067】
記憶制御部109は、本を識別するための情報と、前記劣化の度合いと、劣化の度合いを特定した日時と、当該本を使用した回数とを関連付けて、ログ記憶部110にログデータとして記憶させる。
【0068】
図7は、第三実施形態におけるログ記憶部110が記憶するログデータの一例である。ログデータは、特定部103による処理が終了する都度取得される。取得されたログデータは、
図7の表に示すように、更新日時毎に格納される。ログデータは、少なくとも、本を識別するための情報と、劣化の度合いと、ログを取得した日時(以下、更新日時ともいう)と、検査対象の本を使用した回数(以下、使用回数ともいう)とを含む。ログデータにおいて、更新日時は、年/月/日 時:分の情報を含む。更新日時は、上記に加え、秒や曜日、タイムゾーン等の情報をさらに含んでもよい。ログデータが含む項目は、上記に限定されず、
図7に示すように、基準画像に設定された写真IDや、入力画像と基準画像の位置合わせの際に使用するために本の寸法等をさらに含んでもよい。
【0069】
図7に示すログデータは、一例として、本を識別するための情報として本のタイトルのみを含んでいるが、第二実施形態のように、タイトルの他に、著者名、およびISBNを含ませてもよい。
【0070】
本の使用回数は、例えば、当該本を格納している本棚の内部に設置されたセンサ(図示せず)によって本を出し入れする回数をカウントすることで取得される。センサは、照度センサや赤外線センサ等が想定されるが、これらに限定されない。また、使用回数の取得方法は上記に限定されない。例えば、ログ記憶部110の外部に入力装置(図示せず)を接続し、ユーザ操作により使用回数の入力を受け付ける構成にしてもよい。
【0071】
ログ記憶部110は、例えば、記憶されるログデータが更新される都度、出力装置400にログデータを出力する。あるいは、ログ記憶部110の外部に入力装置(図示せず)を接続し、ユーザ操作によりログデータの出力指示を受け付ける構成としてもよい。この場合、ログ記憶部110は、ユーザ操作による出力指示を受け取ると、出力装置400にログデータを出力する。
【0072】
推定部111は、ログ記憶部110に記憶されたログデータを用いて、検査対象の本の劣化の原因を推定する。推定部111は、ログデータに含まれる項目のうち、劣化の度合いと、更新日時と、使用回数を参照することで、その劣化が経年により自然に生じた劣化(以下、経年劣化という)であるのか、あるいは使用頻度が高いために生じた劣化(以下、使用劣化という)であるのかを推定する。
【0073】
推定部111の具体的な推定方法の一例について、
図7を参照しながら説明する。例えば、本「CCCCCC」が2022/02/05 10:00の検査で劣化した原因を推定したいとする。まず、推定部111はログ記憶部110が保持するログデータを参照し、当該本の前回の更新日時を特定する。次に、推定部111は、前回の更新日時である2022/02/05 10:00のログデータと、2022/01/05 10:00のログデータとの更新日時の差分を算出する。同様にして、推定部111は、前回の更新日時である2022/02/05 10:00のログデータと、2022/01/05 10:00のログデータとの使用回数の差分を算出する。そして、推定部111は、更新日時の差分と使用回数の差分との値の関係から、経年劣化であるのか、使用劣化であるのかを推定した結果を示す判定データを出力装置400に出力する。判定データは、経年劣化であるのか、使用劣化であるのかを表すデータである。あるいは、判定データは、経年劣化の程度または使用劣化の程度を表すデータである。劣化の原因は、例えば、学習によって推定される構成としてもよい。あるいは、更新日時の差分の閾値と使用回数の差分の閾値とをあらかじめ定めておき、差分とあらかじめ定められた閾値との比較結果に基づいて、劣化の原因が推定されるようにしてもよい。
【0074】
次に、第三実施形態における劣化検査装置100の動作の一例について、
図8のフローチャートを参照して説明する。なお、第三実施形態におけるステップS301~ステップS310の処理は、第二実施形態におけるステップS201~ステップS210と同一の処理であるため、詳細な説明を省略する。
【0075】
第三実施形態における劣化検査装置100は、一例として、撮影装置200から入力画像を受信することにより処理を開始する。第三実施形態における劣化検査装置100は、第二実施形態における劣化検査装置と同様の処理を行うことで、本の劣化の度合いを特定する(ステップS301~ステップS310)。特定部103は、劣化の度合いを出力装置400へ出力する。
【0076】
次に、記憶制御部109は、本を識別するための情報と、劣化の度合いと、劣化の度合いを特定した日時と、当該本を使用した回数とを関連付けてログデータとしてログ記憶部110に記憶させる(ステップS311)。
【0077】
次に、推定部111は、ログ記憶部110を参照し、当該本について過去のログデータがあるか否かを判定する(ステップS312)。ステップS312の処理は、ユーザの操作による出力指示に起因して開始されてもよい。過去のログデータがない場合、すなわち今回の検査が初回の検査である場合には、劣化の原因の推定を行わずに処理を終了する。一方で、過去のログデータがある場合、すなわち今回の検査が二回目以降の検査である場合には、ログデータを参照し、検査対象の本の劣化の原因が経年劣化であるのか、あるいは使用劣化であるのかを推定する(ステップS313)。推定部111は、推定した結果を出力装置400へ出力する。劣化検査装置100は、以上の動作を終えた後、処理を終了する。
【0078】
第三実施形態における劣化検査装置100は上記のように構成されている。第三実施形態における劣化検査装置100は、第一実施形態および第二実施形態で説明した効果に加え、以下のような効果を得ることができる。
【0079】
上述した劣化検査装置100はログ記憶部110を備え、特定部103による処理が終了する都度、本を識別するための情報と、劣化の度合いと、劣化の度合いを特定した日時と、当該本を使用した回数とを含むログデータを取得する。取得されたログデータは、出力装置400へ出力される。このため、劣化検査装置100は、検査対象の本の劣化の推移を確認することができる。
【0080】
また、上述した劣化検査装置100は推定部111を備えるため、検査対象の本について過去のログデータがある場合に、劣化の原因を推定することができる。
【0081】
第三実施形態における劣化検査装置100は、以下のような構成であってもよい。
【0082】
本実施形態では、推定部111は、検査対象の本について過去のログデータがある場合に劣化の原因を推定するとしたが、上記構成に限定されない。例えば、推定部111は、過去のログデータがある場合、過去のログデータに記録された劣化の度合いと、今回特定された劣化の度合いとを比較し、劣化の度合いが変化していた場合のみ劣化の原因を推定する構成にしてもよい。
【0083】
また、本実施形態では、推定部111は、推定結果を出力装置400へ出力する構成としたが、以下のように構成されていてもよい。例えば、ログ記憶部110が記憶するログデータはさらに推定結果の情報を含み、推定部111の推定結果を得るとログデータを更新するようにしてもよい。
【0084】
さらに、本実施形態では、ログ記憶部110はログデータを出力装置400へ出力するとしたが、ログデータのうち特定のデータのみを抽出し、出力装置400へ出力する構成にしてもよい。例えば、ログ記憶部110は、ログデータから特定の本に関するデータを抽出し、出力する構成としてもよい。
【0085】
以下、各実施形態における情報処理システム1について、より具体的に説明する。なお、この具体例の説明において、各実施形態と同一名称部分には同符号を付し、詳細な説明を省略する。
【0086】
[第一の具体例]
まず、第一の具体例として、本を保管する施設で情報処理システム1を運用する具体例を説明する。本を保管する施設とは、図書館や書庫等を指す。
図9は、第一の具体例における情報処理システム1の構成例を示す図である。
図9に示すように、第一の具体例における情報処理システム1は、劣化検査装置100と、撮影装置200と、サーバ300と、出力装置400から構成される。
【0087】
第一の具体例における劣化検査装置100は、第一実施形態乃至第三実施形態のいずれかにおける劣化検査装置100の構成を有する。
【0088】
撮影装置200は、検査対象の本を撮影する。撮影装置200は、本棚の前面全体を俯瞰するように設置されている。例えば、撮影装置200は、本棚の上部や、天井に設置される。ここで、本棚の前面とは、本棚に格納された本の背表紙が見える面を指す。撮影装置200は、例えば、ユーザによって本棚から本が取り出されたことを検知すると、その本を検査対象の本と認定し、撮影する。撮影装置200は、例えば、画像処理によって、本が取り出されたことを検知する。あるいは、本棚の内部に設置されたセンサ(図示せず)によって、本が取り出されたことを検知する。センサは、照度センサや赤外線センサ等が想定されるが、これらに限定されない。撮影装置200は、撮影した画像を入力画像として、劣化検査装置100へ送信する。
【0089】
サーバ300には、初期状態の本の画像と当該本を識別するための情報とが関連付けられて記憶されている。
【0090】
出力装置400は、劣化検査装置100による結果を出力する。そのため、出力装置400は、出力結果を表示するための表示部を備える。具体的には、出力装置400は、施設の管理者が有する端末等によって実現される。
【0091】
第一の具体例において、情報処理システム1は以下のように動作する。第一の具体例において、情報処理システム1は、本棚から本が取り出されることにより処理を開始する。撮影装置200は、当該取り出された本を検査対象の本と認定し、撮影する。撮影装置200は、撮影した画像を入力画像として、劣化検査装置100へ送信する。劣化検査装置100は、第一実施形態におけるステップS101~ステップS103の処理あるいは第二実施形態におけるステップS201~ステップS210の処理あるいは第三実施形態におけるステップS301~ステップS313の処理を行う。劣化検査装置100は、ステップS103までの処理あるいはステップS210までの処理あるいはステップS313までの処理を終えた後、出力装置400へ結果を出力する。出力装置400は、表示部に受信した結果を出力する。情報処理システム1は、以上の動作を終えた後、処理を終了する。
【0092】
すなわち、劣化検査装置100は、例えば、ユーザによって本棚から取り出された本の撮影画像と、サーバ300あるいは基準画像記憶部108に記憶されている初期状態の本の画像とを比較する。なお、本具体例において、本棚から取り出された本の撮影画像と、サーバ300あるいは基準画像記憶部108に記憶されている初期状態の本の画像とは、撮影方向が合致していないと考えられる。そのような場合に、劣化検査装置100は、当該撮影画像に、初期状態の本の画像の撮影方向と合致する方向から撮影されたように画像処理を施してから、初期状態の本の画像と比較するように構成されていてもよい。
【0093】
第一の具体例における情報処理システム1は上記のように構成されている。第一の具体例における情報処理システム1は、以下のような効果を得ることができる。
【0094】
上述した情報処理システム1は、劣化検査装置と、検査対象の本を撮影する撮影装置と、サーバとを備える。このため、情報処理システム1は、本の劣化の度合いを容易に検査することができる。
【0095】
また、上述した情報処理システム1が備える撮影装置200は、ユーザによって本棚から本が取り出されたことを検知すると、その本を検査対象の本と認定し、撮影する。すなわち、上述した情報処理システム1は、本棚から本を取り出す都度、当該本について劣化の検査を行う。上記構成により、情報処理システム1は、ユーザからの検査要求等を受信せずとも自動で劣化を検査することが可能になるため、本の劣化の度合いを容易に検査することができる。
【0096】
また、上述した情報処理システム1は、本を保管する施設で運用される。本を保管する施設は、蔵書数が多いため、全ての蔵書に対して常に劣化の度合いを把握することは困難である。上述した情報処理システム1によれば、劣化の度合いを把握できるため、貴重な蔵書について劣化防止の対策を講じることができる。具体的には、劣化の度合いが高い貴重な蔵書について、保管場所を変更したり、閲覧を規制したりすることができる。
【0097】
第三実施形態の劣化検査装置100を用いた情報処理システム1とした場合には、劣化の度合いに加えて劣化の原因の推定結果を得ることができる。したがって、第三実施形態の劣化検査装置100を用いた情報処理システム1とした場合には、劣化の原因によって対策を変えることもできる。例えば、情報処理システム1は、劣化の原因が経年劣化であると推定される場合には本の保管場所を変更し、劣化の原因が使用劣化であると推定される場合には閲覧を規制することもできる。
【0098】
[第二の具体例]
次に、第二の具体例として、古本屋やオークションサイト等に本を売却したい者が情報処理システム1を使用する具体例を説明する。本具体例では、第三実施形態におけるユーザは、本を売却したい者に相当する。
図10は、第二の具体例における情報処理システム1の構成例を示す図である。
図10に示すように、第二の具体例における情報処理システム1は、第三実施形態における劣化検査装置100と、撮影装置200と、サーバ300と、端末装置500から構成される。
【0099】
第二の具体例における情報処理システム1の処理は、大別すると、本の劣化の度合いを特定する処理と、本のログデータを送信する処理とに分けられる。以下、それぞれの処理について詳細に説明する。
【0100】
まず、1つ目の処理である、本の劣化の度合いを特定する処理について説明する。
【0101】
第二の具体例における撮影装置200は、本を売却したい者の所有する本棚の前面全体を俯瞰するように設置されている。
図10では、一例として、撮影装置200は本棚の上部に設置されている。第二の具体例に示したように、撮影装置200の設置場所は上記に限定されない。
【0102】
第二の具体例における情報処理システム1は、第一の具体例における情報処理システムと同様に、ユーザによって本棚から本が取り出されることにより処理を開始する。劣化検査装置100は、第三実施形態におけるステップS301~ステップS313の処理を行う。すなわち、第二の具体例における劣化検査装置100は、本を売却したい者が本棚から本を取り出す都度、劣化の度合いを特定する。また、第二の具体例における劣化検査装置100は、少なくとも、当該本を識別するための情報と、当該劣化の度合いと、劣化の度合いを特定した日時と、当該本を使用した回数とを関連付けてログデータとしてログ記憶部110に記憶させる。
【0103】
次に、2つ目の処理である、本のログデータを送信する処理について説明する。
【0104】
第二の具体例における端末装置500は、前記劣化検査装置にログデータの要求をする。端末装置500は、表示部および入力部を備える端末である。具体的には、端末装置500は、本を売却したい者が有するスマートフォン等の携帯端末を指す。ログデータの要求は、本を識別するための情報を含む。本を識別するための情報とは、第二実施形態で説明したように、その情報により該当する本を1冊に特定するための情報である。端末装置500はまた、劣化検査装置100から受信したログデータを表示部に表示する。端末装置500は、受信したログデータを、端末装置500から接続可能な所定の接続先へ送信してもよい。所定の接続先とは、例えば、古本屋やオークションサイト等の有するシステムが考えられるが、端末装置500から接続可能な接続先であればよく、これらに限定されない。
【0105】
第二の具体例における劣化検査装置100は、端末装置500からログデータの要求を受信すると、端末装置500へログデータを送信する。劣化検査装置100は、ログデータから当該本を識別するための情報に対応する本に関してのログデータを抽出し、端末装置500に送信する。
【0106】
図11は、第二の具体例における劣化検査装置100の動作例の一部を示す図である。
図11は、前述した2つの処理のうち、本のログデータを送信する処理についてより詳細に示した図である。以下、
図11のフローチャートを参照して、本のログデータを送信する処理の手順について説明する。
【0107】
第二の具体例における劣化検査装置100は、端末装置500からログデータの要求を受信することにより、
図11に示す処理を開始する(ステップS401)。ログデータの要求には、本を識別するための情報が含まれている。
【0108】
次に、劣化検査装置100は、ログ記憶部110に格納されているログデータから、当該本を識別するための情報に関してのログデータを抽出する(ステップS402)。その後、劣化検査装置100は、抽出したログデータを端末装置500に出力し(ステップS403)、処理を終了する。
【0109】
第二の具体例における情報処理システム1は上記のように構成されている。第二の具体例における情報処理システム1は、第三実施形態における劣化検査装置100の効果に加えて、以下のような効果を得ることができる。
【0110】
上述した情報処理システム1は、古本屋やオークションサイト等に本を売却したい者が使用する。古本屋において、買い手は、本の劣化の度合いを買い取り価格査定の判断材料として用いる。そのため、買い手は、買い取り価格査定時に本の劣化の度合いを判定する必要がある。オークションサイトにおいても、買い手は、本を売却したい者が掲載した本の劣化の度合いを、入札する際の価格決定の判断材料として用いる。そのため、本を売却したい者は、出品時に本の劣化の度合いを判定する必要がある。通常、本の劣化の度合いの判定は目視によって行われるため、相応の時間がかかる。
【0111】
上述した情報処理システム1によれば、本を売却したい者は、売却したい本についてのログデータを取得することができる。さらに、上述した情報処理システム1の端末装置500は、受信したログデータを、端末装置500から接続可能な所定の接続先へ送信する。すなわち、本を売却したい者は、当該本に関してのログデータを、古本屋やオークションサイト等に提供することができる。古本屋において、買い手は、本を売却したい者から受信したログデータから得られる情報を、買い取り価格査定の判断材料として用いることができる。ログデータから得られる情報とは、具体的には、当該本についての使用回数や、更新日時から算出できる使用年数、劣化の度合い等を指す。これにより、買い手は、本の劣化の度合いの判定を目視で行う必要が無くなるため、買い取り価格査定を容易に行うことができる。オークションサイトにおいては、本を売却したい者は、出品時にログデータから得られる情報を掲載することができる。買い手は、掲載された情報を、入札する際の価格決定の判断材料として用いることができる。これにより、本を売却したい者は、本の劣化の度合いの判定を目視で行う必要が無くなるため、出品を容易に行うことができる。
【0112】
前述したように、情報処理システム1が提供するログデータは、劣化の度合いを含む。本を売却したい者は、当該ログデータを定期的に確認することによって、売却したい本が劣化しないように対策を講じることができる。
【0113】
第二の具体例において、劣化検査装置100の検査結果は端末装置500に出力されるとしたが、上記に限定されない。例えば、劣化検査装置100は、古本屋やオークションサイトの有するシステムに、検査結果を送信する構成としてもよい。
【0114】
[コンピュータによるハードウェア構成]
以上説明した本開示の各実施形態における各構成要素は、その機能をハードウェア的に実現することは勿論、プログラム制御に基づくコンピュータ装置、ファームウェアによって実現することができる。
【0115】
図12は、本開示における劣化検査装置100を、プロセッサを含むコンピュータ装置10で実現したハードウェア構成の一例を示す図である。
図12に示されるように、コンピュータ装置10は、CPU(Central Processing Unit)11、メモリ12、プログラムを格納するハードディスク等の記憶装置13、入力装置および出力装置接続用の入出力インタフェース14、およびネットワーク接続用の通信インタフェース15を含む。
【0116】
CPU11は、オペレーティングシステムを動作させて、本発明の劣化検査装置100全体を制御する。例えば、CPU11は、ドライブ装置等に装着された記憶媒体からメモリ12にプログラムやデータを読み出す。また、CPU11は、例えば第一実施形態における画像情報取得部101、差分算出部102、特定部103の一部として機能し、プログラムに基づいて処理または命令を実行する。あるいは、CPU11は、第二実施形態における画像情報取得部101、差分算出部102、特定部103、入力部104、抽出部105、検索部106、基準画像取得部107、記憶制御部109の一部として機能し、プログラムに基づいて処理または命令を実行するものとしてもよい。あるいは、CPU11は、第三実施形態における画像情報取得部101、差分算出部102、特定部103、入力部104、抽出部105、検索部106、基準画像取得部107、記憶制御部109、推定部111の一部として機能し、プログラムに基づいて処理または命令を実行するものとしてもよい。
【0117】
記憶装置13は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、または半導体メモリ等である。記憶装置の一部の記憶媒体は、不揮発性記憶装置であり、そこにプログラムを記録する。また、プログラムは、通信網に接続されている外部コンピュータ(図示せず)からダウンロードされてもよい。
【0118】
入出力インタフェース14に接続される入力装置は、例えばマウスやキーボード等により実現され、入力操作に用いられる。同様に、入出力インタフェース14に接続される出力装置は、例えばディスプレイ等によって実現され、出力結果の表示および確認に用いられる。
【0119】
以上、各実施形態を参照して本発明について説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。例えば、複数の動作をフローチャートの形式で順番に記載してあるが、その記載の順番は複数の動作を実行する順番を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の順番は、内容に支障がない範囲で変更することができる。
【符号の説明】
【0120】
1 情報処理システム
10 コンピュータ装置
11 CPU
12 メモリ
13 記憶装置
14 入出力インタフェース
15 通信インタフェース
100 劣化検査装置
101 画像情報取得部
102 差分算出部
103 特定部
104 入力部
105 抽出部
106 検索部
107 基準画像取得部
108 基準画像記憶部
109 記憶制御部
110 ログ記憶部
111 推定部
200 撮影装置
300 サーバ
400 出力装置
500 端末装置