TB级数据处理的挑战和应对方案

虽然说大数据已经不算一个新的概念，不过它的作用却日趋重要。大数据已经深入到各个领域，潜移默化的影响着我们的生活。那么在2014年，究竟都有哪些有关大数据的重点事件呢?就让小编我给大家做个不太全面的总结吧~

国科大开设“大数据技术与应用”专业

政府、企业对大数据的重视，自然引发了对于大数据人才的需求热潮。2014年6月，中国科学院大学首次召开“大数据技术与应用”方向人才培养研讨会，提出把人才培养与科研优势结合起来，培养复合型大数据人才。也许设立这个专业并不是什么惊天动地的大事件，但是对于中国人才教育方面的推动，却是源远流长、润物细无声。

据调查显示，即使是在大数据起步较早的欧美国家，大数据人才依旧非常紧缺。

世界杯的大数据狂欢

本来4年一度的世界杯就是足以令全球为之沸腾的重大赛事，2014的世界杯显得格外火热。不仅由于它在足球王国巴西的土地上举办，更是由于它带来了太多的惊喜与意外。

开赛前，各种机构、“预言帝”纷纷推测比赛结果，然而小组赛一开始的各种爆冷，让球迷们大跌眼镜。很快，谷歌云计算平台表示已成功预测了世界杯16强每场比赛的胜利者(即8强名单)，并将继续晋级4强名单。然而之后的四强结果，导致谷歌啪啪啪打脸。

最终，德国夺得巴西世界杯冠军，德国国家队公布此次世界杯利用 SAP Match Insights 备战，并在巴西世界杯比赛期间利用该解决方案进行赛后分析。他们表示自己的胜利，正是由于正确利用了大数据分析的结果。

支付宝首提数据分享四原则 为大数据“立规矩”

大数据的汹涌而来，也意味着数据安全、隐私安全越来越重要，大数据迫切需要制定一个符合它自身发展又保障用户权力的规则。

上海公共事业缴费机构付费通一纸终止与支付宝合作的公告，指责支付宝“扒数据”。支付宝回复了此事件，并分享了大数据合作与分享的四条基本原则。其中包括：一、客户信息保护原则，所有涉及客户信息的使用必须建立在客户主动、自愿和授权的基础上;二、客户隐私有效保护原则，绝对保证用户的信息隐私安全;三、数据对等和交换原则、数据分享后要完成回流、增值、再沉淀的过程，是的分享和交换的双方共同受益;四、价值可衡量原则，在数据合作前一定要制定客观的价值评估体系，确保合作公平和公正。

苹果承认可提取iPhone用户数据

当然，扯上大数据的也未必就是好事。

苹果公司今年7月首次承认，通过此前未公开的技术，苹果员工可以从iPhone手机提取用户个人深层数据，包括短信信息、联系人列表以及照片等。

迫使苹果承认存在“预留后门”的安全专家乔纳森·扎德尔斯基(Jonathan Zdziarski)称，这种技术还可规避备份加密限制，帮助执法机构或其他进入与“可信任”电脑联机的设备。苹果将其称为帮助工程师的“诊断服务”，扎德尔斯基在“黑客大会”(Hackers on Planet Earth Conference)上演示了通过可信任电脑从解锁的iPhone手机中提取用户大量数据的过程，并称其为苹果与美国国家安全局合作的证据。

这再次暴露出大数据时代隐私保证存在巨大漏洞。

影业纷纷引进大数据

2013年，美国相对论传媒首席执行瑞安·卡瓦洛夫通过网络“大数据”，分析出当红明星组合以及观众喜好，让这些明星恶搞《超人》、《蜘蛛侠》等商业大片，拍成《电影43》，用600万美金投资，最终获得北美票房1000万美金，海外票房3500万美金。在这一巨大成功的指引下，国内影业亦纷纷投入大数据的怀抱。

今年，《爸爸去哪儿》、《老男孩之猛龙过江》、《小时代2》等，借助对观众的大数据分析，对节目的制作进行调整，上映后都收到了不错的效果。但是，对于还不够擅长“玩大数据”的中国影业来说，打着大数据旗号最终却默默无闻的影视剧也不在少数。

日本构建海上“大数据路标”

在海上宽带通信环境的大幅改善基础下，通过从传感器所获得的航行中船舶数据及从船内LAN所具备的船舶配件网，可搜集多艘船舶的航行及其相关数据。随后将数据传送到陆地数据中心，从中形成大数据，将为船舶的节省能源航行、船型开发、装备远程维修等项目所使用。

日本船舶技术研究协会得到日本财团的扶持，从今年开始，进行关于《应用船舶大数据(Big Data)，提高海洋产业国际经济力》的研发项目。

联合国与百度共建大数据联合实验室

今年8月，联合国开发计划署与百度今日对外宣布达成战略合作，共建大数据联合实验室。该实验室旨在探索利用大数据技术解决全球性问题，重点针对环保、健康、教育和灾害等议题。

据悉，该联合实验室的工作重点是利用百度的大数据技术，对行业数据进行分析加工和趋势预测，为联合国一部分发展策略的制定提供建议。实验室现阶段的研究重点是环保和健康领域，未来还将聚焦教育和灾害管理等议题。

美国海军将云计算和大数据技术用于远征作战

美国海军希望利用云计算和大数据技术发展作战工具。美国海军研究局(ONR)表示，目前阶段，机载、舰载和其他部署的系统产生了大量数据，然而，想要在作战环境中利用全部数据已经没有那么容易了。

ONR希望建立大数据生态系统软件平台，称为海军战术云参考实施，或NTC RI。由分析工具和界面，提供相关情况所有数据的实时视图。该方案结合云计算，大数据和其他交叉学科技术。

大数据剑指金融业

百度联合广发基金，国内首只大数据指数基金—百发100指基。并不同于普通理财产品，百度百付宝公司总经理章政华表示：“百度金融要做标准化的、平台化的产品”，这是一个“定标准”的产品。让金融机构有投资参照，让市场有衡量坐标。成为市场的标准，显然比销售基金、理财产品更加高端。

这意味着大数据从基层的理财产品，上升到指标、导向的高度，很可能成为金融发展的风向标。

淘宝大数据打击假货

继《2014年淘宝联动警方打击假货报告》后，淘宝方面于12月19日又公布了《2014年淘宝联动知识产权局打假报告》。报告显示，自2010年起，淘宝联手知识产权局已处理各类专利侵权投诉案件3000余件。为配合警方，阿里巴巴的大数据成为最精准的情报之一：不仅提供确认售假的店铺信息，还通过淘宝、支付宝的技术支撑，通过大量数据分析出这些店铺和其他店铺的关联;同时通过发货地址、IP地址、退货地址等追查线下的仓库，并追查犯罪嫌疑人的落脚点。

然而对于阿里此次的打假行动，业界依旧有不同的声音。是否能抑制中国“蓬勃发展的山寨业”，恐怕一朝一夕很难有定论。

另外，大家伙也要注意，前不久12306也就是铁路售票官网暴露出用户信息泄露事件。虽然铁路部门官方解释这是由于用户为了抢票使用了第三方购票软件所致，但各种官网由于漏洞而泄露用户信息的事件也屡见不鲜，还请大家多多关注，发现问题尽快更改自己的密码和邮箱，防止信息泄露导致财产损失。