该职位已失效,看看其他机会吧

Python爬虫工程师

9000-18000元
  • 广州
  • 1-3年
  • 本科
  • 全职
  • 招2人

职位描述

数据采集爬虫分布式爬虫分布式计算
岗位职责:
1、负责分布式网络爬虫系统及数据库的设计与开发;
2、设计爬虫策略和防屏蔽规则,解决封账号、封IP、验证码等难点;
3、维护和优化已有的爬虫服务;
4、负责爬虫核心算法的策略优化研究,充分利用资源,提升网页抓取的效率和质量。


任职要求:
1、本科以上学历,计算机相关专业;
2、熟练使用Python,有良好的编码习惯,熟悉Linux操作系统,熟练使用常用命令,至少熟悉一种常用数据库:Mysql / MongDB / Redis,熟练使用 requests、urllib模块;
3、熟悉各种反爬机制和解决措施 (模拟请求头、设置 IP 代理、cookies, 字体反爬、js混淆加密等)优先;
4、精通网页抓取原理及技术、深度抓取、动态网页技术抓取、浏览器模拟抓取技术,从结构化的和非结构化的数据中获取信息;
5、熟悉Scrapy、Pyspider等主流爬虫框架使用;
6、能独立开发爬虫项目,具有自主解决问题能力。
欢迎优秀应届生投递简历

职位福利:五险一金、带薪年假、周末双休、弹性工作、节日福利
查看全部

工作地点

高普路138号西座3楼

职位发布者

陈女士/HR

立即沟通
公司Logo云润大数据
云润大数据服务有限公司创办于2013年12月,注册资金共5001万元。是一家基于全国领先的大数据、云计算、人工智能、区块链等技术向客户提供创新型研发技术服务的软件企业。主营业务为:数据处理和存储服务;信息电子技术服务;网络技术的研究、开发;电子、通信与自动控制技术研究、开发;科技信息咨询服务等。以大数据、云计算为主导产品和服务。云润以自有的搜索引擎、集成开发平台应用来源,进行数据内容的聚合和管理,并开发出面向移动终端、互联网、手持终端等大数据业务产品;为政府、企业提供全方位的数据整合和数据内容分析服务。拥有CMMI5、ISO9001、ISO2000、ISO27001、信息安全服务、安防等认证资质,2016年被评为国家高新技术企业、软件企业,具有200多项大数据领域的知识产权和30余项发明专利。2017年被评为广东省大数据骨干企业。2020年获得广东省大数据工程技术研发中心。人才理念:1.目标明确:不浪费员工职业生涯的时间,产出等于回报;2.人尽其才:不埋没员工的才华,定期考核提拔潜在人才,并且有才能的人可随时自荐;3.从善如流:对有追求、有态度、有想法的人不设限制,平行交流,并且定期聆听各方意见;4.追求高效:能上班解决的问题,不提倡拖到下班后加班解决。我们尊重和珍惜人才,更需要有奋斗目标的人才!公司地址:广州市天河区高普路138号西座3楼公司楼下公交站:地铁:天河智慧城站C出口/公交:高普路软件路口/公交:软件路西/天河软件园管委会/所经公交车有B4,B26,581,494,774,776,902,903,901A。我们为您提供:1、舒适、和谐、智能化的办公环境。2、五天八小时弹性工作制。3、富有竞争力的薪酬福利:五险一金、绩效奖金、项目奖金、通讯补助、旅游、工龄假期、班车、节日礼品、出差补贴、活动娱乐等。4、广阔的职业发展空间。5、全方位的培训机会。数据驱动创新,智慧引领未来。云润,欢迎您的加入!
公司主页