類似画像検索システム『SUDACHI』

顧客と商品への深い理解に基づくOne to oneマーケティングを実現する上で、品番レベルの購入履歴ではなく、CTB(Category、Taste、Brand)の購入履歴分析が重要です。 しかし、その中で特にTasteの「色」「模様」に関しては、データベース化が難しく、同一の規準でスペック表にまとめられているケースはあまり多くありません。 この問題を解決するテクノロジーが類似画像検索システムです。

『SUDACHI』とは

SUDACHIECサイトにおける商品画像の形態にはさまざまなものが存在し、単に商品のみが写っているものもありますが、背景部分に景色が写っていたり人物が着用していたりする画像もあります。今回開発した類似画像検索システム『SUDACHI』は、背景部分は無視し、対象となる商品の部分のみから特徴量抽出を行ない、多数の商品の中から、色、テクスチャ(模様)、形状、カテゴリの重み付けをした上で類似画像を検索することができるシステムです。『SUDACHI』は徳島大学北研究室と共同で開発しました。(特許公開)

ECで用いられる商品画像

商品画像の形態には、さまざまなものが存在します。図1(1)のように、単に商品のみが写っており、背景部分は同一色で均一のものもあれば、図1(2)のように、背景部分に影が写り込んでいたり、あるいは、背景部分がグラデーションになっていたりする画像もあります。図1 (3)の画像には、2つの対象物(左側に衣服、中央にバッグ)がありますが、この場合は中央に写っているバッグが対象商品で、左側の衣服の部分は商品の類似性決定の際に無視すべき対象物です。また、図1(4)のように、商品の背景が風景である画像も少なからず存在します。

さまざまな背景を持った商品画像の例

図1.さまざまな背景を持った商品画像の例

背景除去

商品画像から、色やテクスチャ、あるいは形状等の特徴量を抽出する際には、背景部分は無視し、対象となる商品部分のみから特徴量抽出を行なうことが望ましい。背景部分も含め、画像全体から特徴量抽出を行なったのでは、高精度な類似商品推薦システムを構築することは困難です。『SUDACHI』では、画像からの特徴量抽出に先だち、背景部分の除去を行ない、対象となる商品部分のみの画像を抽出しています。

背景除去の例

図2.背景除去の例

特徴量の抽出

背景除去した後の商品画像の類似性の解析には、商品画像から得られる色やテクスチャの情報を表す「セグメント特徴量」や「形状特徴量」を用います。セグメント特徴量とは、画像の領域分割(segmentation)によって得られた領域ごとに抽出される特徴量ですが、色やテクスチャといった特徴の似ている領域をグループ化することで、元画像を類似した色やテクスチャを持った複数の領域に分割する処理を行ないます。セグメント特徴量に基づく商品画像間の類似度計算では、Earth Mover’s Distance (EMD)と呼ばれる距離尺度を用いています。また、形状の解析には独自の形状特徴量を用いています。

推薦画像の提示

上記の通り、商品毎に特徴量を計算し、特徴量データベースを構築します。『SUDACHI』では、色、テクスチャ、形状の特徴量にカテゴリ特徴量を加えた4つの特徴量の重み付けを自由に変更することができるので、ユーザーが何を重視して類似商品を検索したいかを自由に設定することができます。

特徴量の重み付け設定

図3.特徴量の重み付け設定

ファッションカテゴリへの適用

『SUDACHI』を利用したファンション商品の類似画像検索システムをALBERTのデモサイト「見つかる.jp」で実装しました。 「見つかる.jp」の"画像で探せる感性検索"では、気になる商品をクリックするだけで、その商品と似ている商品が次々と表示されます。「メンズ」「レディース」「カテゴリ」「色」のなかから重視する項目を選択することもでき、画面の中心には選択した項目に該当する商品が表示され、外にいくほど「色が違うアイテム」「別カテゴリのアイテム」が表示され、似ている商品だけでなく意外性のある商品を見つけることもできます。

「見つかる.jp」ファッションカテゴリ

図4.「見つかる.jp」ファッションカテゴリ