Dump体系技术专家（上海/杭州）

职位描述

1.负责公司社区业务的数据开发，为大规模搜索和推荐业务，设计并实现合理、高性能、可扩展的索引、特征、样本等数据链路和数据架构

2.负责搜索Dump平台的系统开发，为搜索和推荐引擎提供稳定、高效、高性能的数据Dump加工服务；

任职要求

1.至少3-5年数仓相关工作经验，同时具备实时和离线数据架构经验， 熟悉搜索引擎增量Dump和全量Dump 构建体系优先.

2.熟练掌握Spark、Flink、Kafka等大数据批流应用开发，熟悉原理与性能调优,具备复杂多元化数据问题的快速定位和解决能力；

3.熟练掌握Java基础，熟悉IO、多线程、缓存、消息、数据库等分布式中间件，深刻理解计算机原理，有良好的数据结构和算法基础，扎实的编程能力；

4.熟悉Hive、HDFS、HBase、ClickHouse等大数据生态常用组件的原理和应用.

5.对数据敏感，具备良好的数据分析挖掘能力.

6.有较强的稳定性意识和平台化意识, 在稳定运行Dump 任务的同时, 能抽象不同场景(搜索,推荐等等)所需要的Dump 支撑能力, 统一框架接入不同场景；

7.有搜索、推荐、广告相关领域的相关开发经验或大数据平台开发经验加分。