当前位置: 首页 » 北京 » [北京]自如

[北京]自如

岗位职责:

1、参与hue、airflow等大数据相关组件的二次开发,参与基于k8s和docker的服务自动化部署的开发

2、负责设计和开发分布式爬虫系统,进行多平台多终端信息的抓取和分析;

3、实现大规模文本、图像的抓取及数据清洗工作;

4、大数据相关组件告警功能的设计与开发


任职要求:

1、全日制统招本科及以上学历, 计算机相关专业在校生;

2、熟练掌握python的开发

3、能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题;

4、熟悉网页抓取原理及技术,能够总结分析不同网站,网页的结构特点及规律;

5、熟悉Mysql、Redis、Nosql等数据库;  

6、熟悉常见的数据结构知和基本的算法复杂度概念。

加分项(满足其一即可):

1、有验证码破解,反爬,分布式爬虫架构,数据挖掘,搭建数据仓库经验;

2、熟悉Selenium、PhantomJS 、WebDriver等技术或hue、airflow等大数据组件;

吸引力:

  除了爬虫之外,可以参加到大数据相关组件的开发,广阔的成长空间,还有机会参与到算法组的开发

简历发送到 liut23@ziroom.com

上一条: 没有了 下一条: [北京]搜狗
相关专业最新招聘信息
  1. ·[河南]安阳学院 2021招聘
  2. ·[南京]中国旅游集团旅行服务有限公司 开发岗
  3. ·[山东]德州市劳动服务技工学校 2021校园招聘
  4. ·[北京]中国旅游集团旅行服务有限公司 系统推广与支持
  5. ·[全国]航天宏图技术股份有限公司 2021招聘实习生

关于我们 | 合作伙伴 | 出版物 | 触屏版 | 友情链接 | 联系我们 | 违法和不良信息举报 | 帮助指南

网站备案/许可证号:沪ICP备12015550号-13|上海市公安局徐汇分局网监中心备案编号:3101040220

上海市反电信网络诈骗中心防范劝阻电话和短信统一专号:962110,网民接到962110电话,请立即接听。

Copyright ©前锦网络信息技术(上海)有限公司版权所有