【工作职责】

1.负责从多种数据源（如数据库、文件系统、日志等）采集数据，确保数据的完整性和准确性。例如，从联通的交易数据库中抽取订单数据，以及从用户行为日志文件里获取浏览等操作记录。​

2.对采集到的数据进行清洗，去除噪声、重复数据和错误数据。通过编写数据清洗脚本，识别并纠正格式错误的日期数据，或者删除重复的用户注册记录。​

3.进行数据转换，将原始数据转换为适合后续分析和处理的格式。比如将非结构化的文本数据提取关键信息，转换为结构化数据存储。

4. 开发数据处理和分析的算法和程序，实现数据的挖掘、统计分析、机器学习模型训练等任务。例如，编写 MapReduce 程序进行大规模数据的统计分析。

【职位要求】

1、精通 Java 编程语言，熟悉常用设计模式，能运用面向对象编程思想构建高效、可维护的软件系统。例如，在开发企业级应用时，能够合理运用工厂模式、单例模式等优化代码结构。​

2、熟练掌握 Spring、Spring Boot、MyBatis 等主流 Java 开发框架，具备基于这些框架进行项目开发的实际经验。如在构建 Web 应用程序时，能够使用 Spring Boot 快速搭建项目基础架构，结合 MyBatis 实现数据持久化操作。

3、熟练掌握至少一种主流关系型数据库，如 MySQL、Oracle 等，能够进行数据库设计、SQL 语句编写和优化。例如，在设计企业资源管理系统（ERP）的数据库时，能够根据业务需求合理设计表结构、建立表之间的关联关系，并编写高效的 SQL 查询语句来获取数据。​

4、熟悉数据库索引优化、存储过程和函数的编写，能够提高数据库的读写性能。在处理大数据量的查询时，能够通过创建合适的索引和编写存储过程来提升查询效率。。