马上注册,结交更多数据大咖,获取更多知识干货,轻松玩转大数据
您需要 登录 才可以下载或查看,没有帐号?立即注册
x
本帖最后由 168主编 于 2015-12-4 14:21 编辑
上面是架构师的职责要求,同时需求爬虫工程师2位。
网络爬虫系统架构师
【工作职责】
1、负责设计和开发分布式网络爬虫系统(必须),进行多平台信息的抓取和分析;
2、设计爬虫策略和防屏蔽规则,提升网页抓取的效率和质量;
3、负责网页信息抽取、数据清洗等研发和优化工作;
4、负责抓取数据的深度提取和挖掘。
【任职要求】
1、熟悉linux平台开发,5年以上Java开发经验;
2、精通信息抓取和整合技术,从结构化的和非结构化的数据中获取信息,掌握正则表达式;
3、熟悉多线程、多进程、网络通信编程相关知识;
4、2年以上大规模网页爬虫开发经验, 熟悉JS,ajax,网页消重;
5、能够总结分析不同网站,网页的结构特点及规律;
6、熟悉HttpClient、HtmlParser、Jsoup、Lucene、Nutch中的一种或多种开源技术;
7、必须有分布式爬虫架构经验;
8、有通用/垂直/开放平台/APP领域爬虫开发经验优先;
9、熟悉MYSQL,Oracle等数据库应用,有NoSQL实际使用经验者优先;
Java技术经理(高级研发工程师)
职位描述:
1、参与公司基于JavaEE架构的产品架构设计、编写设计文档及关键模块开发;
2、参与方案讨论、技术调研及参与解决开发中的技术难题;
3、负责完成系统框架设计和核心代码编写,确保系统性能、质量和安全;
4、培养和引导初级、中级开发工程师;
5、工作踏实认真,学习能力强,具有良好的沟通能力及团队协调能力
6、具有良好的沟通表达能力、高度责任心,能够承受较强的工作压力;
7、有项目经理管理经验或者高级开发经验或能带着成果来的优先;
8、制订开发计划和流程,完成编码、测试和交付;
9、协助组建、管理技术团队,并对其管理的工作负责
任职要求:
1、计算机相关专业本科及以上学历,5年以上JavaEE开发经验,2年以上开发经理经验;
2、有银行借贷、风控研发发经验或互联网金融开发经验优先;
3、Java语言扎实;精通多线程编程、网络编程,熟练应用成熟的分布式缓存、分布式存储技术方案;
4、对Spring、Struts、Hibernate等常用开源框架应用经验丰富,对框架本身的体系有较为深厚的理解和应用经验;
5、熟悉JavaScript及JQuery、ExtJS等JS开发库
6、深入理解OOP、OOD思想,具有很强的分析设计能力,熟悉常用设计模式;有独立的模块设计经验;
7、熟悉TCP/IP、HTTP等协议, 熟悉REST、WebService等技术;
8、熟练使用resin/tomcat/weblogic/websphere/glassfish/nginx/apache/red5服务器(至少3种),并可进行性能调优;
9、精通Oracle、MySQL、Redis等数据库的设计及优化;
10、精通Memcache、OSCache等缓存框架的使用及优化;
11、能够承受工作压力,心思缜密,责任心强;
12、具有良好的团队合作精神及独立解决问题的能力。 待遇:20-30K
|