您当前的位置：首页 > 专项审批

IDF 2013：大数据Hadoop重塑数据中心

2017-10-13 01:08:31

IDF 2013：大数据Hadoop重塑数据中心与往年一样，重磅主题演讲人之一，英特尔高级副总裁兼数据中心及互联系统事业部总经理柏安娜，在介绍英特尔数据中心战略时特别强调，英特尔将持续投资Hadoop，为开源社区提供代码，面向至强优化发行，提供硬件增强的压缩功能。据她介绍，初期成果已在中国有客户部署Hadoop，如中国移动和中国联通等运营商，应对3G甚至4G系统启用之后呼唤数据大幅增长致使传统计费系统出现的困难。履行Hadoop的方案背后离不开存储设备的支持，必须有很高的性能和效率。在中国移动的案例中，最大挑战是提供实时呼叫数据记录，每天实时检索30天的记录，每秒生成30万条记录，每秒35MB，每个月计费数据到达90TB。她提到了数据中心在交付实时信息和服务的个人计算体验中所扮演的重要角色，和英特尔在提供数据分析所需要的硬件及软件、提高智能装备和数据中心基础设施功能上所迈出的创新步伐。随后，英特尔副总裁兼平台事业部总经理Jason Waxman在演讲中，介绍数据分析支持浙江智能电网的案例，最大挑战是提高电网效力，内存数据库要支持100TB和100万个并发要求，传感器更是多达1亿个以上，最总不仅决策速度提高了60倍，而且减少了电力浪费和碳排放。 2013年底之前英特尔加速扩大基于22纳米制程工艺的数据中心处理器产品线计划，支持具有更高成本效益和更高能效的数据中心基础设施。在数据中心产品组合中，面向微型服务器的英特尔凌动S1200处理器发布4个月后，全新专为存储装备定制的英特尔凌动S12x9处理器也随之亮相谈到所谓的数据中心机架重塑，目前腾讯和百度都十分关注提高机架密度和下降运营本钱。在数据中心内机架方面，可以将散热和供电等系统进行整合，甚至未来能够把存储和计算等核心资源聚合到一起，提高效能和降低成本。基于这个设想，腾讯、阿里巴巴、百度和中国电信发起了名为天蝎（Scorpio）项目，英特尔担负技术顾问。整机柜的理念把服务器的功能放入机架中，例如把风扇从机柜中移走，做成风扇墙提高效率和加最好的美容整形机构强散热，通过重新设计机架机械尺寸整个机架密度提升1倍乃至更高，从进一步推动标准化。为何在数据中心机架重塑这个项目上互联网公司和运营商走在了前面？天蝎项目轮席主席Eric Chen解释说，之前厂商各自有不同的标准，用户之间没有合作，所以提出的需求不同，不唯一多套整机柜，而且国外通用产品无法拿来直接运行。正式启动天蝎项目以后，厂商和运营商整合各自需求，开发一套通用产品。 2012年是天蝎的元年。去年底，百度采用200个整机柜，天蝎技术每一年节省4200万运营费用。今年和明年将有更多整机贵落地。未来的天蝎2.0将充分利用风火水电，从服务器转移到数据中心机架，这个高级阶段中解耦（Disaggregation）是关键技术。他表示：随着整机柜成为主流技术，如Facebook OCP的OpenRack项目，我们非常愿意和Facebook一起合作推动标准化。在下午的IDF 2013大数据专场中，记者则更加详实地了解到与上午主题演讲相干的大数据一体机和Hadoop的信息。在英特尔大数据一体机方面，参考设计主要针对智慧城市、智能交通、电信、金融和医疗等目标市场，为渠道和本地OEM提供一体化的方案，包括DCSG/PEG、DSD、SSD、NSG和ISG在内的多个英特尔部门参与，负责服务器、一体化集成、Hadoop发行版、优化、固态盘、前端和边缘服务器接入现场展现的英特尔服务器系统H2000 Bobcat Peak 下午的会场还同时发布了最新的Hadoop发行版2.3版本。演讲人特别介绍了新版本在处理非结构化数据方面的两个运用实例。其一，某市交通管理在线运用中，需要实时存储和获得路口的实时交通状况图片；其二，某银行存储大量交易记录备注或交易证据扫描照片，并允许柜员及客户在线查询这些记录