bilibili-多模态数据算法工程师

职位描述

工作职责:

1. 构建高性能音视频理解 Pipeline，负责各类理解模型的推理、训练和持续优化。

2. 持续优化 Caption、Tag、PE、QA、Quality Assessment 等理解能力，提高数据生产质量。

3. 优化 CPU/GPU 推理效率，包括模型部署、Batching、Quantization、TensorRT、ONNX 等。

4. 持续优化各类专家模型，包括但不限于：

- Motion Detection

- Shot/Scene Cut Detection

- Artifact Detection

- Audio-Visual Sync

- OCR

- ASR

- Speaker Detection

- Quality Assessment

5. 与生成模型团队共同设计自动化数据生产 Pipeline，提升整体数据质量和处理效率。

工作要求:

任职要求

1. 熟悉 Transformer、Vision Transformer、多模态模型基础。

2. 熟悉 Qwen VL、Gemma、Gemini、SeedVL 等理解模型。

3. 熟悉 TensorRT、ONNX Runtime、CUDA Optimization。

4. 熟悉 FFmpeg、OpenCV、CUDA Video Codec。

5. 有千万级以上视频 Pipeline 经验。

我们希望你：

1. 不只是调用模型，而是持续优化模型效果、效率和成本。

2. 乐于做 Benchmark，能够系统分析误差来源并持续迭代。

3. 对模型效果有 Owner 意识，而不是模块 Owner。