职能职责:
1.负责公司大数据管理平台的建设,包括数据采集、传输,存储、离线//实时计算以及分布式调度系统、可用高并发的数据服务等大数据生态系统的工程化的建设与维护;
2.参与实时计算平台的架构设计、开发等工作;
任职要求:
一.学历要求:数学//计算机//统计//人工智能相关专业的硕士//博士或者同等工作经验;
二.行业经验:5年以上数仓系统或中台设计开发经验;
三.专业技能:
1.有实际面向量产的端到端自动驾驶开发经验,对端到端自动驾驶的数据需求有深刻理解者优先;
2.具备自动驾驶场景下大规模数据处理系统架构经验,熟悉自动标注、数据挖掘等方向;
3.具有扎实的数学基础,熟悉主流深度学习算法,例如多模态Clip模型、GBDT、RF、CNN//RNN、Transformer等;
4.有较强的编程能力,熟悉pytorch框架,并精通Java、C//C++、Go、Python等至少一门编程语言,有ACM经验;熟悉Spring生态、使用过缓存、消息中间件、注册中心等并了解其原理;
5.熟练掌握Hadoop、HDFS、Hbase、Hive、Spark、Flink等大数据生态系统中间件原理;能够熟练运用OLAP常用的数据存储中间件;
6.熟悉Linux环境及shell脚本,掌握linux环境下多线程及网络编程;
7.熟悉分布式系统原理,对存储、离线计算、实时计算中的一项或多项有深入的理解和认识,有大型分布式系统架构、开发、调优经验。