更新于 11月11日

开源数据采集工程师

1.5万-3万
  • 厦门湖里区
  • 1-3年
  • 本科
  • 全职
  • 招2人

职位描述

WebMagicScrapy
一、岗位职责
1、基于内部采集框架,熟悉采集架构,熟悉开源数据采集程序方法策略,设计采集策略和防屏蔽规则,提升开源数据采集效率和质量,能够进行论坛、网站等平台信息的抓取和分析
2、深入了解采集平台数据获取逻辑,完成数据采集、解析处理、数据入库等数据日常工作,完成数据采集规则编写和维护
3、把握开源数据采集核心技术研究方向,研究优化平台,提升采集程序的稳定性、可扩展性,支撑相关单位的数据需求
二、任职要求
1、具备良好的计算机专业只是,有开源数据采集项目经验
2、熟悉开源数据采集原理,负责或参与过日采集数据量过十万规模的采集系统
3、熟悉scrapy、webmagic、spider-flow等开源数据采集框架
4、有较强的逆袭和解决问题能力,具备良好的沟通和团队写作能力
5、本科及以上学历,理工科相关专业
三、加分项
1、熟悉go语言,能够使用golang开发应用

工作地点

厦门火炬高新区火炬广场-北楼

职位发布者

刘紫静/人事专员

三日内活跃
立即沟通
公司Logo公安部第一研究所
公安部第一研究所是从事公安科学技术研究,为公安业务部门和社会公共安全领域提供技术、产品、工程和服务的综合性研究所,建立于1960年初,至今走过了近50年的历程,已发展成为公安部最大的直属研究所,业务领域覆盖安全检查、安全防范与警用信息集成、证件与防伪、技术侦查、警用通信与指挥系统集成、特种警用装备、信息安全、标准化与检测等方面。进入21世纪,科学技术迅猛发展,面对新形势、新任务、新期待,我所进一步明确定位,坚持以“科技强警”为己任,以公安业务一线的需求为导向,积极开展科技创新,注重提高和完善公安技术手段与公共安全装备技术,加大科技成果推广力度,开发生产了大量用于公安和社会公共安全领域的高新技术产品,为维护社会稳定和预防打击犯罪做出了积极贡献。作为一个现代化的研究所,我们非常重视开展国内外技术交流与合作,与众多的科研院所和高等院校建立了广泛的学术交流和技术研发合作渠道。目前,我所拥有一支年龄、知识、专业结构合理,富有朝气的人才队伍,为我所各项工作的全面发展奠定了坚实的基础。希望通过网站这个窗口,可以使您在第一时间了解我们,分享我所研究人员的科研成果,了解我所的学术交流和新产品动态,得到及时的信息服务。在此,真诚希望社会各界对我们的工作继续给予关心和指导,期盼与国内外同仁开展全方位多层次的交流与合作。
公司主页