大数据技术与应用

1、附件25:高职电子信息大类大数据技术与应用赛项技能竞赛规程、评分标准及选手须知一、竞赛容赛项名称：大数据技术与应用赛项容：以大数据技术与应用为核心容，重点考察参赛选手在Hadoop平台环境下，对于大规模并行数据处理以及存计算技术的应用能力。具体包括：1 .掌握Hadoop平台环境部署与基本配置，了解基于大数据计算平台的常见 应用；2 .综合利用 numpy pandas、matplotlib 、scikit 模块和 MapReduc故术、 分布式存储系统 HDFS分布式计算框架 MapReduce/Yarn数据仓库Hive、Python 等开发语言工具和技术，匹配和连接数据源，实现大数据的采集

2、，提取、清洗、 转换、分析、挖掘操作，产生分析结果，并且实现可视化呈现。3 .依据项目应用需求和分析结果，完成数据分析报告的编写。二、竞赛方式4 赛项为团体赛，每支参赛队由3名参赛选手组成。三、竞赛时量5 赛时间4小时，竞赛连续进行。四、名次确定办法名次确定办法原则上按照竞赛总成绩从高分到低分排序确立选手名次。 总成 绩相同时，完成时间较短者名次列前；成绩和完成时间均相同时，操作过程较规 者名次列前。五、评分标准与评分细则1 .评分标准本赛项总分为100分，采取分项计分制（表1）。表1考核环节及评分标准考核环节考核知识点和技能点分值Hadoop平台安装部署数据抓取Hadoop平台安装部署和基本

3、配置。HDFSt用操作命令（查询文件类别、上传、删除文件、查 询HDFSg本统计信息）。1530Hadoop集群的性能调优。规则文件数据和关系型数据库数据抓取以及数据同步（同Hadoop/Hive 数据同步）。掌握Hive数据仓库导入、导出以及同Hadoop数据文件的转换，实现Hive数据管理常用命令。能够通过Python编程，使用 streaming 和MapReduce机 制实现数据的抓取。数据清洗、整理、计 算和表达基于MapReduce的HDFSC件系统的文件数据的数据查询、 整理和计算。20结合Hadoop大数据平台相关技术实现对数据的分析和展 现。应用Python编程工具，实现给定

4、数据源的采集，提取、 清洗、转换、分析、挖掘操作，产生分析结果，并且实现 可视化呈现。宗合分析1综合应用数据抓取、清洗、整理、计算和表达等相关知识 及技术，使用Python编程工具，实现对提供的数据源分 析、展现，根据展现结果得出结论，并对结论进行分析， 形成分析报告。目队分工明确合理、操作规、文明竞赛305合计1002 .评分细则竞赛成绩评定实行“裁判长合权负责制”，负责组织评分裁判进行成绩评定。 评分裁判负责对参赛队伍（选手）的比赛作品、比赛表现按赛项评分标准进行评 定。成绩评定根据竞赛考核目标、容对参赛队或选手在竞赛过程中的表现和最终 成果做出评价。本赛项的评分方法为现场评分和结果评分，

5、 现场评分为5分，由现场裁判根 据参赛队的操作规以及综合表现情况进行评分；结果评分为 95分，依据赛项评 价标准，对参赛选手提交的竞赛成果进行评分。六、赛点提供的设施设备仪器清单1 .竞赛设备包括硬件环境（表2）和软件环境（表3）表2竞赛硬件环境设备类别数量设备用途基本配置服务器1台。嵌大数据实训管理系统， 提供大数据竞赛。PC服务器客户端母支经赛队伍 3 d。根据参赛团队数量， 配备10%勺备份机器。竞赛选手比赛使用。性能相当于 2.0GHZ处理 器，4G以上存，显示器要 求1024*768以上表3竞赛软件环境设备类别软件类别软件名称服务端竞赛系统运行操作系统Centos7.0客户端桌面操作

6、系统Windows7虚拟环境Virtualbox 5.1虚拟操作系统Ubuntu 14.04 LTS大数据平台软件Hadoop 2.7.1开发语百Python2.7.12数据分析工具Pandas 0.9.12Python集成开发环境pycharm-community-2016.3.2浏览器Chrome/firefox文档编辑器Office 2007 及以上版本2 .竞赛技术平台比赛技术平台：四合天地大数据实训管理系统。学生可以“随时、随地”在一套系统中进行多种类型的大数据相关容的训练 及比赛，并且可以在线进行操作系统级的真机模拟训练测试、充分体验和掌握大 数据相关技能。教师（裁判）可以方便组织

7、和安排大数据实训（竞赛），并且可以实时了解 学生的训练及竞赛状态。训练、竞赛完毕后，教师（裁判）可以查看每位学生的 测评报告，并且了解各个学生对大数据相关知识点和操作技能的掌握情况。3 .办公物品参赛选手U盘、签字笔；裁判用时钟、计算器、铅笔、钢笔、橡皮、订书机、 打印机等其他物品。七、选手须知（一）选手自带工具清单选手不允许携带任何工具。（二）主要技术规程及要求包括竞赛项目基础标准（表4）和软件开发标准（表5）表4竞赛项目基础标准标准容GB/T 11457-2006信息技术、软件工程术语GB8566-88计算机软件开发规GB/T 12991-2008信息技术数据库语言 SQL第1部分：框架2

8、0120567-T-469信息技术云数据存储和管理第1部分：总则20120568-T-469信息技术云数据存储和管理第2部分：基于对象的云存储应用接口GB/T 21025-2007XML使用指南GB/T 20009-2005信息安全技术数据库管理系统安全评估准则已发布GB/T 20273-2006信息安全技术数据库管理系统安全技术要求20100383-T-469信息技术安全技术信息安全管理体系实施指南表5软件开发标准标准容GB/T 8566 -2001信息技术软件生存周期过程GB/T 15853 -1995软件支持环境GB/T 14079 -1993软件维护指南GB/T 17544-1998信

9、息技术软件包质量要求和测试（三）选手注意事项1 .参赛选手应严格遵守赛场规章、操作规程和工艺准则，保证人身及设备 安全，接受裁判员的监督和警示，文明竞赛。2 .参赛选手应按照规定时间抵达赛场，凭（或户口簿）、学生证（或学籍证 明），以及统一发放的参赛证，完成入场检录、抽签确定竞赛工位号，不得迟到 和早退。3 .参赛选手进入赛场前，须将、学生证交由检录人员统一保管，不得带入 场。参赛证始终佩戴，以备检查。4 .参赛选手凭竞赛工位号进入赛场，不允许携带任何书籍和其他纸质资料， 竞赛统一提供草稿纸。不允许携带任何电子设备及通信工具和存储设备（如 U 盘），竞赛统一提供计算机以及应用软件。5 .参赛选

10、手应在规定的时间段进入赛场，认真核对竞赛工位号，在指定位 置就座。6 .参赛选手入场后，赛场工作人员与参赛选手共同确认操作条件及设备状 况，填写相关确认文件，并由参赛队长确认签字（签竞赛工位号）。7 .参赛选手在收到开赛信息前不得提前启动操作。在竞赛过程中，确因计 算机软件或硬件故障，致使操作无法继续的，经裁判长确认，予以启用备用计算 机。8 .参赛选手需及时保存工作记录。对于因各种原因造成的数据丢失，由参 赛选手自行负责。9 .参赛队所提交的答卷采用竞赛工位号进行标识，不得出现地名、校名、 、 参赛证编号等信息，否则取消竞赛成绩。10 .竞赛过程中，因严重操作失误或安全事故不能进行比赛的（例

11、如因人为 操作原因发生短路导致赛场断电的、造成设备不能正常工作的） ，现场裁判员有 权中止该队比赛。11 .参赛期间，选手连续工作，餐饮等由赛场统一提供。午饭不离场，食品、 饮水等由赛场统一提供。选手休息、就餐和如厕时间均计算在比赛时间。12 .在参赛期间，选手应注意保持工作环境及设备摆放符合企业生产“5S'（即整理、整顿、清扫、清洁和素养）的原则，如果过于脏乱，裁判长有权酌情 处置。13 .在比赛中如遇非人为因素造成的设备故障， 经裁判确认后，可向裁判长 申请补足排除故障的时间。14 .参赛队提前结束比赛，应向现场裁判举手示意，由裁判员记录竞赛终止 时间。竞赛终止后，不得再进行任何与

12、竞赛有关的操作。15 .竞赛操作结束后，参赛选手需要根据任务书要求，将相关成果文件拷贝 至U盘，填写结束比赛相关确认文件，并由现场裁判和参赛队长共同签字确认竞 赛相关确认文件及U盘容（签竞赛工位号）。因参赛选手未能按要求，将相应的 文档等上传到平台指定位置及U盘的，竞赛成绩计为零分16 .竞赛时间结束，选手应全体起立，结束操作。将资料和工具整齐摆放在 操作平台上，经工作人员清点后可离开赛场，离开赛场时不得带走任何资料。17 .参赛选手不得因各种原因提前离开赛场。 如确因不可抗因素需要离开赛 场的，须向现场裁判员举手示意，经裁判员许可并完成记录后，方可离开。18 .凡在竞赛期间提前离开的选手，不得返回赛场。19 .在竞赛期间，未经赛项组委会批准，参赛选手不得接受其他单位和个人 进行的与竞赛容相关的采访。参赛选手不得将竞赛的相关信息私自公布。20 .符合下列情形之一的参赛选手，经裁判组裁定后中止其竞赛：(1)不服从裁判员/监考员管理、扰乱赛场秩序、干扰其他参赛选手比赛， 裁判员应提出警告，二次警告后无效，或情节特别严重，