2023年大数据处理架构师(15篇)

格式:DOC 上传日期:2022-12-24 06:49:27
2023年大数据处理架构师(15篇)
时间:2022-12-24 06:49:27     小编:zdfb

无论是身处学校还是步入社会,大家都尝试过写作吧,借助写作也可以提高我们的语言组织能力。大家想知道怎么样才能写一篇比较优质的范文吗?以下是我为大家搜集的优质范文,仅供参考,一起来看看吧

大数据处理架构师篇一

1、负责公司的大数据平台的数仓架构、系统架构设计;

2、负责带领团队完成舆情分析相关的挖掘方案设计;

3、负责大数据研发组团队管理;

4、负责带领团队完成舆情平台的方案文档撰写、迭代开发;

5、负责研发规范制定,研究行业前沿技术;

6、参与产品规划及设计讨论。

任职要求:

1、本科五年工作经验及以上,有至少五年的大数据技术实践经验,有nlp或ai相关经验;

2、有很强的架构设计能力和良好的表达能力;

3、有一定的项目管理及团队管理能力;

4、精通hadoop、spark生态圈中的常用组件原理及应用;

6、理解媒体业务,精通数据仓库的规划和设计;

5、精通掌握java或python编程,有性能调优能力;

4、熟悉nlp算法原理及应用;

6、对新生事物或者新技术有浓厚兴趣,学习能力强。

大数据处理架构师篇二

职责:

1、负责规划科技大数据平台及科技数据入库自动化的方案设计;

2、负责大数据平台的开发和维护,以及对外服务接口的开发;

3、负责大数据平台的优化和改进工作。

任职要求

1、计算机相关专业本科及以上学历,5年以上开发经验,其中3年以上为互联网、大数据相关的开发经验;

2、熟知hadoop生态圈体系,精通hadoop/spark/storm/kafka中的一项或几项,深刻理解mapreduce的运行原理和机制,有mpi经验者尚佳;

3、熟悉elasticsearch、redis、hbased等相关数据库的构建和操作,尤其是数据库集群的构建和操作,熟悉neo4j者尚佳;

4、具有机器学习相关项目经验者优先。

大数据处理架构师篇三

职责

1、参与打造数据中内容的规划、设计、开发和优化工作,实现高质量数据的互通与共享;

2、参与数据模型体系构建及数据主题设计和开发,搭建离线、实时数据公共层;

3、参与数据产品与应用的数据研发,发掘数据商业价值,打造极致体验的数据产品;

4、深入理解数据产品的使用场景,为业务方在可用性、成本上做更好的设计做参考;

5、团队成员的搭建与培养,任务划分,进度监控,代码规范,质量保证。

任职要求

1、熟悉数据仓库建模理论,3年以上相关领域实践经验;

2、hadoop、hive、hbase、storm、spark等技术框架;

3、精通java、python、scala、go等开发语言中的1到2种;

4、熟练使用python/java/scala或其他语言进行复杂业务逻辑的数据处理工作,具备海量数据处理以及性能优化的能力;

5、对mysql、redis、hbase等数据库有一定的了解和使用经验;

6、对olap,多维分析及kylin熟悉的更好;

7、思路清晰,具备良好的沟通能力和理解能力,较强的学习能力以及快速解决问题的能力;

8、对新技术,新事物有很好的探索和求知欲;

9、熟悉常规的机器学习算法:降维(pca、svd)、svm、逻辑回归(logisticsregression)、决策树(gbdt、randomforest)、关联规则(apriori、fp-growth)、聚类(k-means)等优先。

大数据处理架构师篇四

职责

1、负责公司大数据平台的整体架构设计,包含数据收集、数据存储、数据挖掘、数据输出;

2、负责规划从数据源到数据应用的整体流程,并参与用户产品和数据产品的决策;

3、负责海量数据分析、用户行为分析,构建用户数据模型;

4、负责解决核心技术问题,对技术方案进行决策;

5、技术团队管理。

6、熟悉手机ios、安卓系统app开发

任职资格

1、计算机相关专业毕业,本科以上学历;

2、5年以上相关工作经验,具备软件产品架构设计经验,熟练掌握高性能、高扩展性架构设计方法;

3、熟练掌握java或c++任意一门语言、熟悉linux操作系统;

4、熟悉hadoop/mr/hbase/mahout/spark等大数据技术,并能够基于上述项目开发大数据相关应用;

5、熟悉基本数据挖掘方法和技术;

6、强烈的敬业精神,良好的沟通与协调能力,能有效组织协调团队完成各类开发工作;

7、热爱技术,相信数据的价值,对大数据有深刻的理解。

大数据处理架构师篇五

职责:

1、负责大数据基础平台、海量数据存储处理分布式平台、数据分析系统架构设计和研发;

2、负责实时计算平台基础架构设计、部署、监控、优化升级;

3、制定项目数据仓库设计及实现规范,指导设计研发和部署;

4、协助策略和算法团队工作,保障数据挖掘建模和工程化;

5、深入研究大数据相关技术和产品,跟进业界先进技术。

任职要求:

1、3年以上大数据系统架构经验;

2、精通hadoop hbase hive spark flink kafka redis技术及其生态圈;

3、具备java scala python等开发经验,熟悉数据挖掘和分析的策略与算法;

4、精通数据抽取,海量数据传输,数据清洗的常用方法和工具。

5、具备良好的系统分析能力、故障诊断能力;

6、有大数据策略、算法、可视化经验优先;

7、有在华为云存储产品和大数据产品的开发使用经验优先。

大数据处理架构师篇六

职责:

1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档;

2、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

3、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;

4、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码;

任职要求:

1、本科及以上计算机相关专业毕业;

2、精通离线和实时数据处理流程,掌握离线数据处理框架hive、impala、spark-sql等,掌握实时数据处理常用技术工具,包括storm、sparkstreaming等;

3、熟悉大数据技术生态圈,精通大数据技术架构,有大数据平台构建经验;

4、掌握常见数据流接入工具,包括flume、kafka等;

5、熟练掌握基本的linux操作系统和某种脚本语言编程(如shell等);

6、掌握一种或以上实时处理语言,如java、scala、python等,有scala经验者优先;

7、有实际大规模数据(tb级以上)处理经验优先;

大数据处理架构师篇七

职责:

1.负责公司新业务方向平台大数据基础架构的搭建及后期数据处理体系的升级和优化,不断提升系统的稳定性和效率。为公司未来方向性产品提供大数据底层平台的支持和保证。

2.负责制定大数据平台调用约束和规范;

3.负责大数据方向技术难题的解决,以及代码质量的把控;

4.作为大数据开发团队的leader,负责大数据系统平台开发团队建设与人才梯队培养,分享技术经验,撰写相关技术文档指导和培训工程师。

任职要求:

1.热衷于大数据技术,并能平衡大数据性能、稳定性、扩展性多重要素进行设计和优化;

2.熟悉服务器基本知识,能够评估系统硬件性能瓶颈;

3.掌握linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题,并能提供解决问题的理论依据;

4.精通java服务器编程,熟悉jvm原理,对数据结构和算法设计有较为深刻的理解;

5.精通elasticsearch、redis、hadoop、kafka、zookeeper、yarn、hbase、spark底层架构,熟悉原理、源码、集群部署,包括参数优化、bug修复,贡献过代码或提交过bug者优先

6.具备数据中心资源管理、监控、调度等系统研发经验者优先,具备分布式系统研发经验者优先;

7.具有应用大数据技术处理的项目开发、维护超过两年的经验者优先;

8.具有良好的文档编写能力,可进行方案设计、架构设计。

大数据处理架构师篇八

职责:

1、 负责大数据仓库、数据集市的规划及实现,负责大数据中台的设计和核心开发工作;

2、 负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为公司的业务提供大数据底层平台的支持和保证;

3、 大数据平台的数据采集、处理、存储以及挖掘分析的架构实现;

4、 研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时化、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线

任职资格:

1、 精通数据建模、数据标准管理、元数据管理、数据质量管理;

2、 有作为技术负责人系统化解决问题的成功案例;有海量数据实践经验优先;

3、 熟悉目前正在发展的大数据分布式平台前沿技术的应用;包括但不仅仅限于:hadoop、flink、spark等;

4、 性格积极乐观,诚信,能自我驱动,有较强的语言表达能力;具备强烈的进取心、求知欲及团队合作精神;具有良好的沟通、团队协作、计划和创新的能力; 在数据业界有一定的影响力优先,具有风控经验背景的人优先;

5、 具备独立的深度思考能力,给出结合实际情况的较为理想的技术解决方案。

大数据处理架构师篇九

职责:

1、负责公司大数据产品的架构设计,包含数据收集、数据存储、数据应用,并完成相关架构设计文档的撰写;

2、参与规划从数据源到数据应用的整体流程,并参与相关产品的决策;

3、负责解决核心技术问题,对技术方案进行决策;

4、负责大数据研发团队建设、人才梯队培养和技术团队管理;

5、积极了解业界发展,研究与跟踪大数据新技术发展方向。

任职要求:

1、精通goldengate for bigdata相关理论,具备大型数据利用的生产实战经验;

2、精通数据驱动的理论,设计并生产上线相关数据驱动的产品;

3、精通常用消息中间件的使用,例如kafka/rocketmq/apache pulsar,有解读相关源码者优先;

4、掌握hadoop、spark生态体系相关产品的使用,掌握mapreduce编程或spark编程;

5、了解传统数据仓库理论及相关etl工具,例如kettle/datastage;

6、熟悉oracle、mongodb、mysql数据库的使用;

7、扎实的java语言基础,熟悉java开发工具和调试工具的使用;

8、良好的团队协作精神,有能力对团队在软件设计、实现和测试方面进行指导;

9、良好的逻辑分析能力和沟通能力,执行力强、对待工作认真严谨、责任心强、具备出色的学习能力和团队合作精神,有一定的推动能力;

10、计算机科学、信息技术或相关领域本科以上学历,具有5年以上数据平台项目开发经验,3年以上的架构设计经验,具有大数据平台应用大型项目架构设计经验优先;

大数据处理架构师篇十

职责:

1、负责企业大数据平台的基础建设、管理及制定拓展规划;

2、负责大数据平台相关自动化服务工具的设计、开发;

3、参与hadoop、hbase、spark等核心平台组件的开发、优化;

4、对平台特殊场景化的数据应用制定相关实践方案;

5、大数据团队的搭建。

任职资格:

1、统招本科以上学历,计算机等相关专业,5年以上工作经验;

2、具有hadoop等大规模集群管理经验、海量(pb)数据处理经验;

3、精通hadoop、hive、hbase等离线平台相关组件的原理机制;

4、了解或熟悉storm/spark/redis/kafka/mongodb等分布式系统;

5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;

6、熟悉爬虫常用框架以及反爬技术;

7、具有良好的沟通能力、分析问题与攻关问题的能力;

8、有责任心,工作积极,对新领域新技术有热情。

大数据处理架构师篇十一

职责:

1. 负责大数据基础和应用平台的整体规划和架构设计,参与需求分析,架构设计,详细设计以及技术选型决策

2. 参与数据挖掘和建模相关核心算法的代码实现

3. 负责大数据算法平台的技术把关,性能调优,控制架构质量,解决项目技术难题;对研发项目和任务需求进行评估和方案设计、拆分任务并指导工程师完成开发

4. 带领团队提供并实现大数据算法平台上各项数据接入、数据挖掘分析及数据可视化的架构设计与能力,支持解决方案实施

5. 负责数据库设计、应用架构设计、核心技术选型等工作

6. 协调解决开发中的技术问题、设计和监控运营指标,保障系统稳定运行

7. 培养,指导有能力的员工,指导工程师进行技术验证实现,核心技术攻关,解决开发过程中的技术难题

任职要求:

1. 熟悉大数据和数据仓库的系统架构设计方法

2. 熟练使用并理解hadoopspark架构及生态。(hadoop,hive,hbase,elasticsearch,kafka,sparkflink等)

3. 熟悉分布式系统架构,有分布式实时、离线和机器学习平台的架构和开发经验,具备海量数据清洗、分析处理及存储的实践经验

4. 熟练使用java,具有大规模分布式系统调优经验

5. 熟悉ai相关算法,熟悉机器学习、深度学习。熟悉ai学习开源框架(tensorflow、pytorch等)者优先;

6. 具备良好的团队合作精神,对工作充满激情。

7. 熟悉fusioninsight平台开发经验者优先

大数据处理架构师篇十二

职责:

1、负责spark, hadoop, flink等开发和优化。

2、参与前期需求沟通和分析,以产品化开发的思维,完成需求分解和数据架构设计。

3、与研发和数据科学家合作保证产品定义清晰,按时完成产品上线。

4、能够洞察市场状况,与各部门合作转化为基于大数据挖掘的新策略或方案.

5、主动创造和发掘新的基于大数据挖掘产品商业模式.

任职要求:

1、全日制本科及以上学历,计算机软件相关专业,5年以上开发经验,3年以上架构经验

2、精通hadoop/mapreduce/spark/hbase/flink/hive/r/mahout等分布式数据存储和分布式计算平台原理,流式计算开发,有开源二次开发经验者优先。

3、精通大数据挖掘、机器学习.熟练掌握java/perl/python至少一种编程语言。

4、具有数据挖掘和分析、机器学习等项目实施相关经验者优先;

5、良好的跨部门沟通合作能力,解决不同观点能力并取得结果。具备敏锐的互联网产品理解力,学习能力和逻辑思维能力强;

6、较强的自我驱动力、推动和协调能力,强烈的责任心和团队合作精神;

大数据处理架构师篇十三

职责:

1)负责公司软件产品整体架构的设计和关键功能实现

2)负责公司架构长期看护以及优化;

3)负责软件部门各模组间的协调配合;

4)提高巩固软件代码质量;

5)负责大数据流式框架的设计、优化及部署;

6)规划研发部门员工的技术发展路线并提供必要的帮助和指导

任职资格:

1)本科及以上学历,计算机相关专业,5年以上工作经验;

2)频繁换工作,比如一年一个公司,请绕路;

3)3年以上产品架构经验,主导过产品的成功上线;

4)对底层设备通讯协议,b/s系统,手机app开发等都有一定的了解;

5)对各种主流语言c#\java\pathon有一定的了解

5)精通各种大数据架构,并深入研究过其中一种,有storm\kafka等流式实时处理经验为佳

6)能够承担较强的工作压力,有良好的自我驱动能力和责任感;

7)具备优秀的逻辑思维能力、表达能力、沟通协调能力。

大数据处理架构师篇十四

职责:

1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;

2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;

3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;

6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。

任职要求:

1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉bi平台、大数据系统相关技术架构及技术标准;

2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

3.熟悉大数据相关技术:hadoop、hive、hbase、storm、flink、spark、kafka、rabbitmq;

4.熟悉制造企业信息化系统及相关数据库技术;

5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;

6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;

7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。

大数据处理架构师篇十五

职责

1、负责企业级大数据平台、数据云服务的设计与开发;

2、基于大数据生态圈,支持智慧交通等大数据场景应用实现;

3、负责公司大数据产品的设计、封装与落地;

4、负责学习大数据相关算法研究、实现与应用

任职要求

1、统招本科及以上学历;2年以上智慧城市建设或交通行业信息化相关工作经验,3年以上大数据架构设计、开发经验;

2、精通大数据生态圈的技术,包括但不限于mapreduce、spark、hadoop、kafka、mongodb、redis、flume、storm、hbase、hive,具备源码级问题解决和集群优化改造能力;

3、熟悉常用编程语言,包括java、python、scala等;

4、具有很强的技术研发和创新能力,能有效把握技术发展方向,有较强的执行能力、学习能力、沟通能力、适应能力,责任心强;

【本文地址:http://www.pourbars.com/zuowen/733089.html】

全文阅读已结束,如果需要下载本文请点击

下载此文档
Baidu
map