大数据开发(政务/生活)
职位编号 J021544
行业 存储/计算机网络与安全/计算机硬件
类型 软件工程师
所在地 深圳市 
职位描述:
1.大数据专家-中高级 -根据业务提出的建模需求,编写大数据分析方案; -基于Hadoop体系架构的Hive 和Hbase大数据仓库数据,发现符合业务需求的数据模型,分析数据模型各组成部分之间的关系; -按照规定的格式储存和展示大数据分析结果; -开发数据分析结果的访问服务及其API接口,供其他系统或组件调用; -开发数据分析服务及其API接口,供其他系统或组件调用。 2.大数据开发工程师-初中级别 根据业务提出的建模需求,编写大数据分析方案; -基于Hadoop体系架构的Hive 和Hbase大数据仓库数据,发现符合业务需求的数据模型,分析数据模型各组成部分之间的关系; -按照规定的格式储存和展示大数据分析结果; -负责数据整体架构的性能优化。 3.大数据挖掘工程师-C类 -从事金融和政府行业数据挖掘和数学建模的实施工作与咨询顾问服务; -负责数据挖掘领域的分析研究,包括数据挖掘算法的分析研究,特定工程的数据挖掘模型的需求分析、建模、实验模拟; -负责指导软件开发工程师进行数据挖掘系统的开发,包括需求分析、系统设计、系统测试和优化; -负责研究成果在公司内的推广应用,以及对外对内合作交流,不断提升公司的技术、分析和营销能力; -针对营销理论、消费者的消费行为数据结合数据挖掘领域的特点进行综合全面的业务逻辑架构及系统架构设计。 4.爬虫工程师-C类 -负责搭建爬虫系统,根据不同的爬虫需求完善爬虫系统 -负责分析爬虫需求,输出爬虫方案,并落地实施
职位要求:
1.大数据专家 -本科及以上学历、计算机或数学相关专业,5年以上大数据建模经验; -独立负责过至少一个大型业务主题的数据平台建设; -熟悉Hadoop体系架构,包括Hive 、Hbase、 MapReduce等组件,能熟练使用MapReduce和SparkStreaming工具进行数据计算和处理; -精通oracle 、postgresql或mysql主流数据库,有大规模数据仓库实施项目经验。 -熟练掌握至少一种数据分析工具软件的使用; -具有较强的逻辑思维能力,具有良好的团队协作精神和沟通理解能力。" 2.大数据开发工程师 -初中级 -本科及以上学历、计算机或数学相关专业,3年以上大数据建模经验; -独立完成过至少一个业务主题的数据分析工作; -熟悉Hadoop体系架构,包括Hive 、Hbase、 MapReduce等组件,能熟练使用MapReduce和SparkStreaming工具进行数据计算和处理; -精通oracle 、postgresql或mysql主流数据库,有大规模数据仓库实施项目经验。 -熟练掌握至少一种数据分析工具软件的使用; -具有较强的逻辑思维能力,具有良好的团队协作精神和沟通理解能力。 3.大数据挖掘工程师-C类 -大学本科及以上学历,计算机、管理科学与工程或数学、统计学专业毕业; -具有3年及以上数据挖掘/数学建模相关工作经验,具有深厚的统计学、数学、人工智能和数据挖掘知识基础,具备数理统计理论基础,并熟悉常用的统计工具软件;熟练掌握关系型数据库技术,具有数据库系统开发经验; -熟悉数据挖掘方法论、具有金融保险行业的企业级数据仓库/数据挖掘专题应用实施经验者优先;有经济学,市场营销学知识及经验者优先。 -有hadoop、 hive、 spark开发和使用经验者优先 4.爬虫工程师-C类 -熟悉多线程、多进程、网络通信编程相关知识 -两年以上大规模网页爬虫开发经验,熟悉JS,ajax,网页消重 -能够总结分析不同网站,网页的结构特点及规律 -有分布式、垂直领域爬虫开发经验优先 -良好的逻辑思维能力,能够从海量数据中发现有价值的规律 -熟悉CC、Java 、Python语言编程,对数据结构和算法设计有较为深刻的理解 -熟悉正则表达式,用于从各种网络结构化和非结构化数据中抽取有用的信息 -优秀的分析问题和解决问题的能力,对解决具有挑战性问题充满激情 -良好的团队合作精神,较强的沟通能力"