职位描述：
1.数据清洗与加工：负责从各种数据源中提取、清洗和转换数据，确保数据的准确性和一致性。
2.数据治理：制定和实施数据治理策略，确保数据的质量、安全性和合规性。
3.知识库构建：设计和构建本地知识库，支持数据的存储、检索和分析。
3.模型训练：参与机器学习模型的训练和优化，支持数据驱动的决策和自动化流程。
5.工具与技术栈：熟悉大数据处理工具（如Hadoop、Spark）、数据库（如SQL、NoSQL）、数据清洗工具（如Pandas、PySpark）以及机器学习框架（如TensorFlow、PyTorch）。
技能要求：
1.编程语言：熟练掌握Python、Scala、Java等编程语言。
2.大数据技术：熟悉Hadoop、Spark、Flink等大数据处理框架。
3.数据库：熟悉SQL和NoSQL数据库，如MySQL、PostgreSQL、MongoDB等。
4.数据清洗与ETL：有丰富的数据清洗和ETL（Extract, Transform, Load）经验。
5.机器学习：具备基本的机器学习知识，能够参与模型的训练和优化。
6.数据治理：了解数据治理的最佳实践，熟悉数据质量管理、元数据管理、数据安全等。
7.沟通能力：良好的沟通能力，能够与业务部门和技术团队有效协作。
软技能：
1.问题解决能力：能够独立解决复杂的数据问题。
2.团队合作：能够在团队中协作，推动项目进展。
3.学习能力：对新技术，特别是AI新技术及工具有强烈的学习兴趣，能够快速掌握和应用新工具。
4.会使用Cursor、MarsCode等AI辅助编程工具者，请准备在面试时投屏演示讲解；