大数据开发工程师-【数据引擎】

职位描述

1、为公司 AI 和 BI 业务场景提供 data engineering 能力，包括可灵、商业化、电商、主站等业务；既支持结构化数据、也支持多模态数据；

2、团队有超过一半的 Apache Committer / PMC（Hudi / Paimon / Amoro / Flink/ RocketMQ），与开源社区紧密合作，持续构建开源影响力，有机会成长为 Apache Committer / PMC；

3、打造行业领先的数据湖服务，提供高效、极简的EB级数据存储与处理能力。推进快手数据体系的全面的湖仓化；

4、跟进学术界，工业界成熟的经验与技术，规划与推进快手数据体系的不断演进与迭代。

任职要求

1、本科及以上学历，计算机科学与技术、软件工程或相关专业方向；

2、熟练掌握Java/Scala/Rust，有扎实的计算机基础，对数据结构、算法基础有扎实掌握，对计算机体系结构、操作系统、计算机网络有深刻理解；

3、掌握数据湖理论与技术、文献，熟悉行业内成熟的数据湖服务，例如Hudi、Iceberg、Paimon、Lance 等，开源社区有贡献者优先；

4、掌握分布式计算系统基础理论、文献，熟悉行业内成熟的分布式计算框架与服务，例如Spark、Flink、Doris、Ray、Clickhouse，有大规模分布式计算服务研发与维护经验者优先；

5、熟悉向量化、索引设计、执行框架，SQL执行优化等技术者优先；

6、对技术充满热情，有较强的责任心和抗压能力，有较好的沟通能力，能快速融入团队，有较强的学习能力，能快速掌握最前沿的技术。