日本大数据应用环境和发展状况
本帖最后由 168主编 于 2019-1-20 14:23 编辑11月15日，清华大学·野村综研中国研究中心、数据科学研究院主办了“大数据应用中日交流论坛”，对中日大数据发展应用进行探讨。日本野村综合研究所数字基础开发部部门经理、高级研究员城田真琴在会上发表题为《日本的大数据应用环境和发展状况》的演讲，对日本大数据发展及政策变化等进行了详尽的介绍。
本篇选自野村综合研究所数字基础开发部部门经理、高级研究员城田真琴先生近日在“大数据应用中日交流论坛”上所做的题为《日本的大数据应用环境和发展状况》的演讲。本篇主要分为四点与大家分享：
[*]日本大数据发展状况与发展趋势
[*]日本《个人信息保护法》的修订
[*]法律修订后的大数据业务
[*]日本大数据应用面临的课题
一、日本大数据的发展状况http://www.199it.com/wp-content/uploads/2018/12/1544603017-2890-VCFiaBdYLXSXEd22YicIgR8S3Fsw.jpg2012到2014期间，大数据是当时非常流行的词汇，之后被检索的频次开始呈现下降趋势。http://www.199it.com/wp-content/uploads/2018/12/1544603017-8904-f66lOdj3slPd9bf5LxFQPJ6ZpwZw.jpg之后，人工智能被越来越受到关注，在2014年12月份，“人工智能”检索次数首次超越了“大数据”检索次数。http://www.199it.com/wp-content/uploads/2018/12/1544603018-1663-yiaiaxdTxQcM4Iiagiagybtw53ww.jpg上图是日本在1998年到2018年20年间部分相关法律的制定和大数据的实际运用案例。http://www.199it.com/wp-content/uploads/2018/12/1544603017-3719-yibABXqdOf9ck628ANBDrQheic5Q.jpg“小松”系统是民间企业第一个开始运用大数据的例子。该系统早在1998年开始实行。在这20年间，“小松”系统仍是日本国内受人称赞的例子。http://www.199it.com/wp-content/uploads/2018/12/1544603017-5568-uplvB5j3YB1B4DuA3AKyA2AxGNpg.jpg“移动空间统计”应用是手机公司NTT于2013年10月推出的服务。该应用基于基站数据可以精确推测某地区大致的手机用户的数量，从而统计其相关数据，包括该地区人口分布统计和动态统计。http://www.199it.com/wp-content/uploads/2018/12/1544603017-6043-IC36tIB5wOia5ws1vdQkwBlpIDeQ.jpg在车辆搭乘该系统后，可以了解到车辆的行驶情况。也可以了解到驾驶员的驾驶方式和驾驶偏好。现在可以根据开车的行驶的距离去算具体的保险费的费率，也就是说，可以通过该系统计算出符合个人驾驶行为习惯的费率。http://www.199it.com/wp-content/uploads/2018/12/1544603018-9105-cAovXYH6sNPnm985WTicXibMSjhA.jpg把线上线下的问题（网络与现实）综合地结合起来，大数据可能会发挥出更大效用。这样，当本公司数据不够用时，可以和其他大型网络公司联手，运用其他不同行业的数据，就如日本的积分卡和一些公司的会员卡制度所积累的数据，可能会使这些数据得到更大程度的使用。有些专门从事大数据处理的公司，跟他们联手，可以把这些数据的价值使用的更广。现在有很多这样的企业，着重于大数据的开发和利用。但是，当把数据移交给第三方公司时，却有很多顾虑。当数据可能包含消费者信息，个人信息，这些必须通过想关持有人同意，否则无法移交其他公司进行开发利用。因此，在相关法律的限制下，有些日本企业中的人并不十分积极去使用第三方提供的数据。http://www.199it.com/wp-content/uploads/2018/12/1544603018-3719-ak5bIN8HQicDOJyJgcEgpp063HYw.jpg在日本，乘铁路是使用交通卡，而且交通卡都是实名制，其中包括个人的姓名，联系方式及出生日期等。铁路公司把乘客的乘车记录交给第三方公司时，尽管对个人隐私做了消除处理，但消费者对此仍然不满，并提起诉讼，日本国民对于个人隐私保护是特别在意。媒体对此也进行报道，铁路公司停止该行为。这也成为法律修订的契机。http://www.199it.com/wp-content/uploads/2018/12/1544603019-7297-rPDkOaW3JMgetqzXwDVbQeWp4zdA.jpg日本某大型信息教育公司，委托第三方企业管理本公司的客户信息。但第三方公司的员工以有偿的方式把该客户信息出售给其他企业。事件最终暴露，引起社会的广泛关注。上述事件在社会上引起反响，日本政府仍决心推进大数据的使用。http://www.199it.com/wp-content/uploads/2018/12/1544603018-7373-zVErktFIP49QZpgn1GpWhnJ6uJEA.jpg2013年6月份，日本宣布“创建世界最先进的IT国家宣言”。http://www.199it.com/wp-content/uploads/2018/12/1544603019-6819-34icqpHenCUD64KYU39SyOn3zSSw.jpg如何平衡隐私保护和大数据应用，这是一个长期的课题。但是在日本，更多的是放在隐私保护方面，更重视隐私保护。而且作为企业，也担心万一在隐私保护上出点问题，有可能影响客户的声誉，所以企业在大数据的使用方面也是非常谨慎的。二、《个人信息保护法》的修订http://www.199it.com/wp-content/uploads/2018/12/1544603020-5221-06icVib8mgNKfPcjwgRUDq8ZQuoQ.jpg《个人信息保护法》修改要点http://www.199it.com/wp-content/uploads/2018/12/1544603020-8635-7YeUX6QSWBP4hTKOfCe96pRhNrhA.jpg首先关于个人信息在修订之前，更多指的是名字、地址和出生年月日，这样能够识别特定相关个人的信息。但是实际上从企业的角度来说，像指纹、DNA，或者是虹膜，乃至电脑号码，手机号码等信息亦属于个人信息的范畴。http://www.199it.com/wp-content/uploads/2018/12/1544603020-3638-zvrPwue7vlEAzv5vnBZpVtbWQKrg.jpg除了匿名加工之后的信息之外，企业获取的个人信息需获本人的同意才能提供给第三方。匿名加工信息的做法，现在没有统一的方式，要根据具体内容来定，比如有些把名字、地址、出生年月日或者把其他的删掉即可，必须根据不同的个案予以思考。其概念的引入，意义重大。http://www.199it.com/wp-content/uploads/2018/12/1544603020-6405-loicn2rQhNdU4siaIQgXw6pKIenQ.jpg《个人信息保护法》修订中名册企业治理对策三、法律修订后的大数据业务http://www.199it.com/wp-content/uploads/2018/12/1544603020-8667-8J2HVJo2icWpDzx7F5zmiclNzBhA.jpg把数据进行匿名化的处理，在不涉及法律的情况下，提供给第三方。拥有数据方和数据利用方之间形成了数据交换的平台。这种数据交换平台，它保证不会涉及到违法的问题，可以让数据的利用方放心的使用数据交换平台提供的数据。http://www.199it.com/wp-content/uploads/2018/12/1544603020-4018-CBtRKMgk7pxuzcWxQKYNQ7HQ8yNw.jpg“信息银行”是一项新的业务。它的出现避免匿名加工信息所带来对信息资源利用的破坏。信息银行是通过尊重个人的意志方式来决定是不是提供个人信息，比如这家公司可以提供，那家公司就不提供。而且获取信息的一方，会向用户提供一定的报酬。http://www.199it.com/wp-content/uploads/2018/12/1544603021-6898-rPm8KEFHH2yU2qMUdJ7WKjicn5eg.jpg日本信用评价业务的先驱：J.Score它和中国的芝麻信用是比较相近的，也许是参考芝麻信用的做法来推出的业务。它在银行、电商获取一些个人信息，利用AI对数据进行分析计算从而进行评级。提供信息的用户可以从相关企业中获得“AI评分奖励”。四、日本大数据应用面临的课题
2013年，我们做了一个问卷调查，左边是日本，右边是美国。从中可以看出，日本的数据科学家，或者数据分析专家只有8%左右，而美国的企业却有50%左右，现在已经有很大的差距。如今日本出现大数据热潮和人工智能热潮，很多企业都在致力于培养数据科学家，但是跟美国企业相比，仍然有比较大的差距。http://www.199it.com/wp-content/uploads/2018/12/1544603021-7871-J6cQ2WBWWKdGexIe0obXPug2oRSg.jpg日本企业高管，他们从传统上来说一直不善于用数据来进行决策，更多的是重视直觉，或者是经验。他们在犹豫不决时，就依靠自己的胆量进行决策。他们不擅长以数据为基础进行决策，或者在企业的经营之中灵活的使用数据。总结
[*]日本的大数据应用，关键是平衡隐私保护和数据利用两者关系。其特点是更多的重视隐私的保护。
[*]《个人信息保护法》的修订是转折点。
[*]目前，“信息银行”和“信用评分”等新型商务已经兴起。
[*]数据科学家短缺和根据数据进行决策是重大课题。
作者简介：城田真琴，日本总务省“智慧云研究会”技术工作组（WG）委员、经济产业省“IT融合论坛”个人数据WG委员、经济产业省、厚生劳动省、文部科学省“IT人材供求调查”专家委员会成员等。本文转载自微信公众号THU数据派
页:
[1]