CASE STUDYEC / SEARCH / AUTOMATION
複数ECモール横断検索・価格比較
Amazon・楽天市場・Yahoo!などを横断し、商品情報と価格を比較。JANコード、小口差異、取得エラーなどECデータ特有の不確実性も考慮した検索システムです。
PROJECT OVERVIEW
「価格を取る」だけでは、正しい最安値にはたどり着けない。
商品名が同じでも入数・小口が異なる場合があり、JANコードにも誤登録などのイレギュラーがあります。各サービスのAPI・スクレイピングの取得失敗も前提に処理を設計しました。
- SOURCES
- Amazon / 楽天市場 / Yahoo! ほか
- MATCHING
- 商品名 / JANコード / 小口差異
- PROCESSING
- API / スクレイピング / 並列処理
IMPLEMENTED FEATURES
複数EC横断検索
複数サービスの商品情報を横断して取得。
API連携
各サービスのAPIから商品・価格情報を取得。
スクレイピング
APIで不足する情報をWebから取得。
JANコード照合
商品名だけに依存しない照合。
商品同一性判定
複数情報から同一商品かを判断。
入数・容量の正規化
小口違いを識別して誤比較を防止。
送料込み価格比較
送料を含めた購入価格を比較。
価格履歴
過去の価格推移を保存。
異常値検出
登録ミス等の不自然な値を検知。
エラーリカバリー
取得失敗を前提とした処理。
並列処理
多数の取得を並行実行。
分散構成
処理量に応じた複数サーバー構成も検討。
DESIGN POINT
機能だけではなく、
運用まで考えて設計する。
商品照合
商品名・JAN・入数・容量を使って判断。
不正確な外部データ
出品者による誤登録等を前提に設計。
取得エラー
一部失敗で全体が停止しない構成。
性能と運用コスト
速度だけでなく契約・運用条件も含めて判断。