八爪鱼采集器

八爪鱼采集器是任何一个需要从网页获取信息的孩纸必备的一款神器，这个是一款可以让你的信息采集可以变得很简单的工具。八爪鱼转变了传统对于网络上的数据思维方法，它让用户在网上抓取资料编的更加简单和容易了

软件特色

　　满足多种业务场景

　　适合产品、运营、销售、数据分析、政府机关、电商从业者、学术研究等多种身份职业

　　舆情监控

　　全方位监测***息，抢先获取舆论趋势

　　市场分析

　　获取用户真实行为数据，全面把握顾客真实需求

　　产品研发

　　强力支撑用户调研，准确获取用户反馈和偏好

　　风险预测

　　高效信息采集和数据清洗，及时应对系统风险

功能介绍

　　简易采集

　　简易采集模式内置上百种主流网站数据源，如京东、天猫、大众点评等热门采集网站，只需参照模板简单设置参数，就可以快速获取网站公开数据。

　　智能采集

　　八爪鱼采集可根据不同网站，提供多种网页采集策略与配套资源，可自定义配置，组合运用，自动化处理。从而帮助整个采集过程实现数据的完整性与稳定性。

　　云采集

　　由5000多台云服务器支撑的云采集，7*24小时不间断运行，可实现定时采集，无需人员值守，灵活契合业务场景，帮你提升采集效率，保障数据时效性。

　　API接口

　　通过八爪鱼API，可以轻松获取八爪鱼任务信息和采集到的数据，灵活调度任务，比如远程控制任务启动与停止，高效实现数据采集与归档。基于强大的API体系，还可以无缝对接公司内部各类管理平台，实现各类业务自动化。

　　自定义采集

　　针对不同用户的采集需求，八爪鱼可提供自动生成爬虫的自定义模式，可准确批量识别各种网页元素，还有翻页、下拉、ajax、页面滚动、条件判断等多种功能，支持不同网页结构的复杂网站采集，满足多种采集应用场景。

　　便捷定时功能

　　简单几步点击设置，即可实现采集任务的定时控制，不论是单次采集的定时设置，还是预设某一天或是每周每月的定时采集，都可以同时对多个任务自由进行设置，根据需要对选择时间进行多重组合，灵活调配自己的采集任务。

　　全自动数据格式化

　　八爪鱼内置了强大的数据格式化引擎，支持字符串替换、正则表达式替换或匹配、去除空格、添加前缀或后缀、日期时间格式化、HTML转码等多项功能，采集过程中全自动处理，无需人工干预，即可得到所需格式数据。

　　多层级采集

　　很多主流新闻、电商类的网站，里面包含一级商品列表页，也包含二级商品详情页，还有三级评论详情页面；不论网站有多少层级，八爪鱼都可以不限制层级的采集数据，满足各类业务采集需求。

　　支持网站登录后采集

　　八爪鱼内置了采集登录模块，只需配置目标网站的账号密码，即可用该模块采集到登录后的数据；同时八爪鱼还具备采集Cookie自定义功能，首次登录以后，可以自动记住cookie，免去多次输入密码的繁琐，支持更多网站的采集。

使用方法

　　先我们新建一个任务-->进入流程设计页面-->添加一个循环步骤到流程中-->选中循环步骤-->勾选上软件右方的URL 列表勾选框-->打开URL列表文本框-->将准备好的URL列表填写到文本框中

　　接下来往循环中拖入一个打开网页的步骤-->选中打开网页步骤-->勾选上使用当前循环里的URL作为导航地址-->点击保存。系统会在界面下方的浏览器中打开循环中选中的URL对应的网页

　　到这里，循环打开网页的流程就配置完成了，运行流程的时候，系统会逐个的打开循环中设置的URL。最后我们不需要配置一个采集数据的步骤，这里就不在多讲，大家可以参考从入门到精通系列1：采集单个网页 这篇文章。下图就是最终和流程

　　下面是流程最终的运行结果

更新日志

　　V8.1.20（正式） 2020-08-07

　　Bug修复

　　解决本地采集同时运行任务数上限，有些情况下提示不对的问题

　　解决采集步骤中重试时切换代理IP不生效的问题

　　解决任务设置中修改了浏览器相关选项后浏览器不会自动刷新的问题

　　解决启动需要代理IP的模板任务提示不对的问题

　　解决触发器中设置结束循环不生效的问题

　　解决自定义任务中输入网址列表，保存时不会去除空行的问题

　　解决滚动一屏后7版本正常采集，8版本会漏采图片地址的问题

　　解决自定义任务中有空循环列表会导致整个任务完全不采集数据的问题

　　解决定时导出数据到数据库会失效的问题

　　解决自定义配置中添加当前时间字段，示例数据显示错误的问题

　　解决导出数据到csv文件时出现多余字段行的问题

　　解决字段找不到元素时设置“该步骤所有字段留空”，采集不正确的问题

　　解决任务设置中不加载图片选项不生效的问题

　　解决部分Iframe网页无法采集的问题

　　解决部分JSON采集出现乱码或不能采集的问题

　　解决自定义配置中部分网站，点击后卡死的问题

　　解决自定义配置中日期时间格式化的问题

　　解决字段多次提取合并为一行，采集不正确的问题

　　解决自定义配置中循环列表项显示不正确的问题

　　解决采集时输入文本没有覆盖输入框已有文本的问题