篇一:大数据架构师的基本职责
职责:
1)负责公司软件产品整体架构的设计和关键功能实现
2)负责公司架构长期看护以及优化;
3)负责软件部门各模组间的协调配合;
4)提高巩固软件代码质量;
5)负责大数据流式框架的设计、优化及部署;
6)规划研发部门员工的技术发展路线并提供必要的帮助和指导
任职资格:
1)本科及以上学历,计算机相关专业,5年以上工作经验;
2)频繁换工作,比如一年一个公司,请绕路;
3)3年以上产品架构经验,主导过产品的成功上线;
4)对底层设备通讯协议,B/S系统,手机APP开发等都有一定的了解;
5)对各种主流语言C#\Java\Pathon有一定的了解
5)精通各种大数据架构,并深入研究过其中一种,有storm\kafka等流式实时处理经验为佳
6)能够承担较强的工作压力,有良好的自我驱动能力和责任感;
7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。
篇二:大数据架构师的基本职责
职责:
1、负责公司大数据产品的架构设计,包含数据收集、数据存储、数据应用,并完成相关架构设计文档的撰写;
2、参与规划从数据源到数据应用的整体流程,并参与相关产品的决策;
3、负责解决核心技术问题,对技术方案进行决策;
4、负责大数据研发团队建设、人才梯队培养和技术团队管理;
5、积极了解业界发展,研究与跟踪大数据新技术发展方向。
任职要求:
1、精通GoldenGate For BigData相关理论,具备大型数据利用的生产实战经验;
2、精通数据驱动的理论,设计并生产上线相关数据驱动的产品;
3、精通常用消息中间件的使用,例如kafka/RocketMQ/Apache Pulsar,有解读相关源码者优先;
4、掌握hadoop、spark生态体系相关产品的使用,掌握MapReduce编程或Spark编程;
5、了解传统数据仓库理论及相关ETL工具,例如kettle/datastage;
6、熟悉Oracle、Mongodb、Mysql数据库的使用;
7、扎实的Java语言基础,熟悉Java开发工具和调试工具的使用;
8、良好的团队协作精神,有能力对团队在软件设计、实现和测试方面进行指导;
9、良好的逻辑分析能力和沟通能力,执行力强、对待工作认真严谨、责任心强、具备出色的学习能力和团队合作精神,有一定的推动能力;
10、计算机科学、信息技术或相关领域本科以上学历,具有5年以上数据平台项目开发经验,3年以上的架构设计经验,具有大数据平台应用大型项目架构设计经验优先;
篇三:大数据架构师的基本职责
职责:
1. 深刻理解政府行业业务模式,构建政府行业的数据模型,制定公司大数据技术发展路线;
2. 对接业务研究和技术部门,主动搜集和转化需求,组织数据中心业务开发,进行数据相关产品需求分析和设计;
3. 搭建数据仓库,研发数据库管理系统,搜集、提取、处理业务积累的海量数据,开展数据分析和挖掘;
4. 根据公司战略和发展需要,规划数据中心重点工作和任务;落实部门人员、事务管理,开展跨部门、跨地区协作,协助对外交流与合作。
职位要求:
1. 5年以上相关工作经验,有团队管理和项目管理经验者优先;
2.了解政府运作机制,掌握财政行业知识,有电子政务行业经验者优先;
3. 熟练掌握使用Java或Python,精通数据库查询语言如SQL,Oracle等,在机器学习模型和算法方向有应用经验者优先;
4. 具备数据中心产品策划整体思维,有大数据处理、分析、挖掘经验者优先;
5. 逻辑思维严密,具备业务抽象、分解和标准化的能力,口头和书面表达优秀;
6. 有较强的大局意识和良好的团队合作意识,富有领导力,具备优秀的人际交往和沟通能力。
篇四:大数据架构师的基本职责
职责:
1、正确理解业务需求,对需求进行工作量评估;
2、参与项目相关的需求、设计、投产手册等文档的编写;
3、根据进度计划,完成所承担功能模块的设计、开发、单元测试、联调测试;
4、配合测试组修复代码缺陷,确保功能实现与代码质量;
5、负责所承担功能模块投产、部署,及上线后的日常维护;
6、完成项目经理或者架构师安排的其他工作;
任职资格:
1、本科以上学历,计算机相关专业,两年以上大数据开发经验;
2、熟悉Linu_ 环境,掌握shell或python;
3、熟练使用hadoop,hive,HBase,YARN,kafka,spark等大数据开发组件;
4、精通 ETL,数据仓库的设计和开发;
5、有大数据处理实战经验,熟悉整个大数据的完整处理流程,包括数据的采集、清洗、存储;
6、较强的动手能力和学习能力,良好的沟通能力、团队协调能力;
7、具有银行、金融行业从业背景者优先。
篇五:大数据架构师的基本职责
职责:
1、负责大数据开发团队建设;
2、负责行业大数据产品架构设计与研发;
3、负责带领团队进行行业大数据产品关键技术攻关。
任职要求:
1、有三年以上大数据应用、开发经验;具备海量数据加工处理(ETL)相关经验,对数据挖掘及机器学习有较为深刻的理解;
2、熟悉Hadoop相关技术,对HDFS、MapReduce、Hive、HBase有一定的使用和开发经验;
3、熟悉Linu_,熟练使用Shell或Python,进行脚本编写;
4、对数据结构和数据统计分析算法有较为深刻理解;
5、掌握至少一种主流关系数据库开发技术:Oracle、SQL Server、MySQL等;
6、掌握实时流计算技术,有Spark、Storm开发经验者优先;
7、需要具备2年以上研发团队管理经验。
篇六:大数据架构师的基本职责
职责:
根据大数据业务需求,设计大数据方案及架构,实现相关功能;
搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;
负责大数据业务的设计和指导具体开发工作;
负责公司产品研发过程中的数据及存储设计;
针对数据分析工作,能够完成和指导负责业务数据建模。
职位要求:
计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;
精通大数据主流框架(如 Hadoop、hive、Spark等);
熟悉 MySQL、NoSQL(MongoDB、Redis)等主流数据库,以及rabbit MQ等队列技术;
熟悉hadoop/spark生态的原理、特性且有实战开发经验;
熟悉常用的数据挖掘算法优先.
篇七:大数据架构师的基本职责
职责:
1、搭建基于Hadoop/Spark的数据挖掘体系和大数据分析系统架构;
2、研究大数据领域前沿数据挖掘技术,并引入相应技术在数据中心的使用;
3、进行大数据系统框架设计、模型算法开发;
4、负责大型数据挖掘项目方案制定、项目实施落地及优化等 ;
5、开展数据爬取、聚类分析、舆情分析、鱼骨图分析、定价策略等领域数据挖掘工作;
任职资格:
1、本科以上学历(持有学士学位)(985,211优先),计算机相关专业,五年工作经验;
2、二年以上数据挖掘项目经验,完整参与过数据挖掘大数据平台的架构开发过程,具备互联网行业背景优先;
3、精通分布式计算框架(hadoop、spark、Storm等)及相关经验,熟练掌握Hive/SQL,Python,熟悉Python、R相关数值科学计算库(NumPy,SciPy等);
4、了解传统的BI/DW 理论,能结合传统BI实践设计大数据平台;
5、熟悉常用机器学习算法(如分类、回归、聚类、关联规则等)及其原理,具备应用场景经验,如用户画像、商品关联度分析、舆情分析;
6、熟悉主数据、元数据、数据质量、和数据建模等数据治理相关的体系和方法;
7、具备较强的逻辑思维能力、数据敏感度,擅于利用数据发现问题及解决问题;
篇八:大数据架构师的基本职责
职责:
1、 基于公司大数据基础和数据资产积累,负责大数据应用整体技术架构的设计、优化,建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。
2、 负责制定大数据应用系统的数据安全管控体系和数据使用规范。
3、 作为大数据技术方案到产品实现的技术负责人,负责关键技术点攻坚工作,负责内部技术推广、培训及知识转移工作。
4、 负责大数据系统研发项目任务规划、整体进度、风险把控,有效协同团队成员并组织跨团队技术协作,保证项目质量与进度。
5、 负责提升产品技术团队的技术影响力,针对新人、普通开发人员进行有效辅导,帮助其快速成长。
任职资格:
1、 计算机、数学或相关专业本科以上学历,5-20__年工作经验,具有大型系统的技术架构\应用架构\数据架构相关的实践工作经验。
2、 有分布式系统分析及架构设计经验,熟悉基于计算集群的软件系统架构和实施经验。
3、 掌握Hadoop/Spark/Storm生态圈的主流技术及产品,深入了解Hadoop/Spark/Storm生态圈产品的工作原理及应用场景。
4、 掌握Mysql/Oracle等常用关系型数据库,能够对SQL进行优化。
5、 熟悉分布式系统基础设施中常用的技术,如缓存(Varnish、Memcache、Redis)、消息中间件(Rabbit MQ、Active MQ、Kafka、NSQ)等;有实践经验者优先。
6、 熟悉Linu_,Java基础扎实,至少3-5年以上Java应用开发经验,熟悉常用的设计模式和开源框架。