职位&公司对比
职位详情
北京 · 3-5年 · 不限
- 爬虫工程师
职位要求： 1、负责设计和boss开发分布式网络爬虫系统，进行多平台信息的抓取和分析 2、根据业务需求，负责网站、APP等大规模文本数据抓取，实现视频数据抓取、清洗、存储等工作 3、参与爬虫核心算法的策略优化研究，优化爬虫核心算法，提升爬虫效率和质量 4、持续关注抓取服务的监控和报警，高效响应及修复线上问题，保证爬虫系统整体稳定性 技能要求： 1、熟悉web、app抓取原理及技术，熟悉常用的爬虫网络协议及重要组件 2、熟悉AbossPP攻防逆向，包括但不限于：逆向分析、协议破解、设备改机、虚拟多开等 3、熟悉HTML，JavaScript，xpath，css selector，熟悉HTTP协议 4、对Flask、Django、TornBOSS直聘ado等常用开源框架有一定了解或使用 5、有音视频经验优先
职位详情
北京 · 1-3年 · 大专
- 数据分析
- Python
- 网络爬虫技术
- 分布式技术
- MongoDB
- 大数据
- 数据挖掘
- 数据仓库
岗位职责： 1、开发Celery异步数据传输模式平台 2、熟练平台优化能力； 3、精通Scrapy爬虫框架进行分布式爬虫，XPath语法，数据分析等能力 4、精通定制带有cookie信息的请求头，进行模拟用户登陆。分析网页结构与规律，使用Scrapy爬虫框架配合F直聘iddler工具抓包。使用XPath语法获取需要的信息。 5、具有良好的自学能力，能通过研究开源项目来解决开发中遇kanzhun到的难题。 6、熟练使用Linux、及MySQL/MongoDB数据库，有独立搭建大型系统的能力。
技能解析
专有技能
- 熟悉HTML
- HTTP协议
- HTML
- 开源框架
- 网络协议
数据来自CSL职业科学研究室
技能解析
专有技能
- 优化能力
- 数据分析等
- 数据分析
- 自学能力
数据来自CSL职业科学研究室
工作时间
上午09:00 - 下午06:00
公司福利
- 年终奖