岗位职责：
1、参与hue、airflow等大数据相关组件的二次开发，参与基于k8s和docker的服务自动化部署的开发
2、负责设计和开发分布式爬虫系统，进行多平台多终端信息的抓取和分析；
3、实现大规模文本、图像的抓取及数据清洗工作；
4、大数据相关组件告警功能的设计与开发
任职要求：
1、全日制统招本科及以上学历， 计算机相关专业在校生；
2、熟练掌握python的开发
3、能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题；
4、熟悉网页抓取原理及技术，能够总结分析不同网站，网页的结构特点及规律；
5、熟悉Mysql、Redis、Nosql等数据库；
6、熟悉常见的数据结构知和基本的算法复杂度概念。
加分项（满足其一即可）：
1、有验证码破解，反爬，分布式爬虫架构，数据挖掘，搭建数据仓库经验；
2、熟悉Selenium、PhantomJS 、WebDriver等技术或hue、airflow等大数据组件；
吸引力：
除了爬虫之外，可以参加到大数据相关组件的开发，广阔的成长空间，还有机会参与到算法组的开发
简历发送到 liut23@ziroom.com
