苏宁图像智能分析平台及实践

苏宁作为国内零售业和O2O互联网模式领军企业，一直着力于提升用户购物体验。近来，大数据驱动的商业智能分析成为公司持续发力的重点方向，并推出了以图购物，所见即所得的拍照购系列产品，该系列产品以智能图像分析技术为基础，精准分析用户购买意图，为用户提供以图购物、以图推荐等多条快捷购物通道，提升用户的购买体验。苏宁图像识别引擎以全品类商品覆盖为目标，以深度学习技术为基础，将商品本体识别、商品图像检索、商标/物体检测、文字识别等技术相融合，利用多层面的图像信息，可以获得精准全面的分析结果。

苏宁图像智能分析平台及实践

内容

• 图像智能分析系统组成及平台介绍
  
• 图像智能分析应用
  
• 技术案例: 图像自动标注方法
  
  

图像与大数据的关联

1.图像是一种重要的数据载体。
2.图像数据的爆炸，”图像大数据“成为现实。
3.图像分析技术的进步，挖掘图像大数据成为可能。

图像大数据对苏宁的价值

图像智能分析系统组成及平台介绍

图像智能分析系统组成

线上应用系统

智能监控系统

离线算法平台

图像智能分析平台

目的:为不同的应用需求提供一致性的算法接口，满足各种图像智能分析需求，为内部和外部用户提供智能分析服务。

图像智能分析应用

拍照购（商品识别）：介绍

以商品识别算法和图像检索系统为基础，利用深度神经网络强大的表达能力，抽取图像中商品的有效特征，并结合文本识别的结果，获取高相关度商品的推荐结果。

特点:
1.支持广泛品类的商品识别(今年内基本做到全覆盖)。
2.与文本识别相结合。
3. 较快的识别与检索速度，相关性较高的返回结果。

拍照购（商品识别）：算法系统组成

拍照购（商品识别）：使用示例

拍照购（商品识别）：优化策略

有用策略:
1.补充数据。增加有效的真实训练样本，提升模型的表达能力，并提高检索精度。
2.主体检测。有效检测出图像中商品主体，减少背景的干扰，提升识别精度。

拍照购（商品识别）：优化策略

智能门店监控：介绍

实现门店监控视频的智能分析，以获取准确的客流人数、客流成分组成、商品热区、顾客滞留分析等丰富的商业数据信息，进而为商业智能系统提供数据保障。
特点:
1.能够统计不同环境、不同状态下的客流人数。
2.能够检测不同环境下人脸，并分析其年龄、性别等信息。
3.能够得到不同排布商家的商品热区信息。
4.能够分析顾客的滞留，进而对顾客行为进行判断。

智能门店监控：客流统计

方案：
1. 采用置顶数字摄像头
2. 检测进入区域的人体
3. 跟踪并确认有效客流

智能门店监控：人脸分析

特点: 利用特征点跟踪有效估计人脸姿态，利用正面人脸进行去重分析。

智能门店监控：顾客行为分析

特点:
1.对于置顶或偏置摄像头，都能够有效获取商品热力图。
2.结合滞留分析，能够最大限度抑制销售员影响。

文本图像识别：介绍

应用:
1.对价签等丰富文本载体进行分析，得到文本内容。
2.对自然场景中文本进行识别，辅助物品识别。
技术方案
1.检测图像中可能的文本区域。
2.对文本区域进行验证和校正。
3.迭代寻找最优的切分和识别结果。
4.利用语言模型进行校正。

文本图像识别：示例

文本图像识别：价签购示例















总结
目标: 为图像自动打标签，为图像识别引擎准备训练数据
特点:

• 全过程无需人工干预。
  
• 效率很高，和人工标注相比可提高100倍。
  
• 效果很好，图像相关度可达95%以上