❶ python爬虫可以爬哪些网站
理论上可以爬任何网站。
但是爬取内容时一定要慎重，有些底线不能触碰，否则很有可能真的爬进去！
❷ 有哪些网站用爬虫爬取能得到很有价值的数据
1.抓取淘宝网中卖家等级小于四心的卖鞋的江苏地区的卖家帐号；
2.抓取诚信通超过三年的卖饰品的卖家帐号；
3.抓取天猫商城中新开用户且卖水晶的苏州账户。
❸ 爬虫是如何主动找到网站地址的
网络的蜘蛛是会顺着网上的所有链接进行撒网式抓取，只要有链接指向你们网站，就能找到了，望采纳
❹ 有哪些网站用爬虫爬取能得到很有价值的数据
抓取外卖平台的各种店面的开业情况以及用户消费和评价，了解周边变化的口味，所谓是“舌尖上的爬虫”。
❺ 如何准确判断请求是搜索引擎爬虫发出的请求
网站经常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有UserAgent，而我们知道UserAgent是可以伪装的，UserAgent的本质是Http请求头中的一个选项设置，通过编程的方式可以给请求设置任意的UserAgent。 所以通过UserAgent判断请求的发起者是否是搜索引擎爬虫（蜘蛛）的方式是不靠谱的，更靠谱的方法是通过请求者的ip对应的host主机名是否是搜索引擎自己家的host的方式来判断。要获得ip的host，在windows下可以通过nslookup命令，在linux下可以通过host命令来获得，例如：这里我在windows下执行了nslookup ip 的命令，从上图可以看到这个ip的主机名是crawl-66-249-64-119.googlebot.com。 这说明这个ip是一个google爬虫，google爬虫的域名都是 xxx.googlebot.com.我们也可以通过python程序的方式来获得ip的host信息，代码如下：import socketdef getHost(ip): try: result=socket.gethostbyaddr(ip) if result: return result[0], None except socket.herror,e: return None, e.message上述代码使用了socket模块的gethostbyaddr的方法获得ip地址的主机名。常用蜘蛛的域名都和搜索引擎官网的域名相关，例如：网络的蜘蛛通常是.com或者.jp的子域名google爬虫通常是googlebot.com的子域名微软bing搜索引擎爬虫是search.msn.com的子域名搜狗蜘蛛是crawl.sogou.com的子域名基于以上原理，我写了一个工具页面提供判断ip是否是真实搜索引擎的工具页面，该页面上提供了网页判断的工具和常见的google和bing的搜索引擎爬虫的ip地址。页面地址：http://outofmemory.cn/tools/is-search-engine-spider-ip/ 本文提供的代码是python代码，通过c#代码也是可以实现的，原理是一样的。
❻ 有哪些网站用爬虫爬取能得到很有价值的数据
看您自己需要什么信息啊，像某宝上的宝贝信息，58等门户网站上的各分类信息，都是很有价值的；某宝上的楚江数据就是做网站APP数据采集，爬虫定制，各类网站都能爬到有价值数据。
❼ 一个网站除了百度以外爬虫其爬虫是那哪些呀
一搜蜘蛛，搜狗蜘蛛，AhrefsAhrefs蜘蛛，谷歌蜘蛛，360蜘蛛，网络，微软bing，雅虎蜘蛛
答案满意采纳下呗，顺便点个赞～谢啦
❽ 有哪些好用的爬虫软件
推荐如下：
1、神箭手云爬虫。
神箭手云是一个大数据应用开发平台，为开发者提供成套的数据采集、数据分析和机器学习开发工具，为企业提供专业化的数据抓取、数据实时监控和数据分析服务。功能强大，涉及云爬虫、API、机器学习、数据清洗、数据出售、数据订制和私有化部署等。
简介：
网络爬虫（又称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
❾ 有哪些网站用爬虫爬取能得到很有价值的数据
一般有一下几种
一些常用的方法
IP代理
对于IP代理,各个语言的Native Request API都提供的IP代理响应的API, 需要解决的主要就是IP源的问题了.
网络上有廉价的代理IP(1元4000个左右), 我做过简单的测试, 100个IP中, 平均可用的在40-60左右, 访问延迟均在200以上.
网络有高质量的代理IP出售, 前提是你有渠道.
因为使用IP代理后, 延迟加大, 失败率提高, 所以可以将爬虫框架中将请求设计为异步, 将请求任务加入请求队列(RabbitMQ,Kafka,Redis), 调用成功后再进行回调处理, 失败则重新加入队列. 每次请求都从IP池中取IP, 如果请求失败则从IP池中删除该失效的IP.
Cookies
有一些网站是基于cookies做反爬虫, 这个基本上就是如 @朱添一 所说的, 维护一套Cookies池
注意研究下目标网站的cookies过期事件, 可以模拟浏览器, 定时生成cookies
限速访问
像开多线程,循环无休眠的的暴力爬取数据, 那真是分分钟被封IP的事, 限速访问实现起来也挺简单(用任务队列实现), 效率问题也不用担心, 一般结合IP代理已经可以很快地实现爬去目标内容.
一些坑
大批量爬取目标网站的内容后, 难免碰到红线触发对方的反爬虫机制. 所以适当的告警提示爬虫失效是很有必有的.
一般被反爬虫后, 请求返回的HttpCode为403的失败页面, 有些网站还会返回输入验证码(如豆瓣), 所以检测到403调用失败, 就发送报警, 可以结合一些监控框架, 如Metrics等, 设置短时间内, 告警到达一定阀值后, 给你发邮件,短信等.
当然, 单纯的检测403错误并不能解决所有情况. 有一些网站比较奇葩, 反爬虫后返回的页面仍然是200的(如去哪儿), 这时候往往爬虫任务会进入解析阶段, 解析失败是必然的. 应对这些办法, 也只能在解析失败的时候, 发送报警, 当告警短时间到达一定阀值, 再触发通知事件.
当然这个解决部分并不完美, 因为有时候, 因为网站结构改变, 而导致解析失败, 同样回触发告警. 而你并不能很简单地区分, 告警是由于哪个原因引起的.
❿ 人人都要懂得网站爬虫知识，你知道多少呢
网络爬虫是一种按照一定的规则，自动地抓取互联网信息的程序或者脚本。[2] 可以理解为一个自动访问网页并进行相关操作的小机器人。本质上就是实现高效、自动地进行网络信息的读取、收集等行为。爬虫程序最早是1994年休斯敦大学的Eichmann开发的RBSE。着名的谷歌公司使用的Google Crawler是当时还是斯坦福大学生Brin和Page在1998年用Python开发的。
使用爬虫技术可能带来的法律风险主要来自几方面：
（1）违反被爬取方的意愿，例如规避网站设置的反爬虫措施、强行突破其反爬措施；
（2）爬虫的使用造成了干扰了被访问网站正常运行的实际后果；
（3）爬虫抓取到受法律保护的特定类型的信息。其中，第（3）类风险主要来自于通过规避爬虫措施抓取到了互联网上未被公开的信息。
答：遵守robots 协议的就不违法了 。
答：查询网站域名加/robots.txt 的链接下的文件。
比如 抖音：https://www.douyin.com/robots.txt。
User-Agent: 以下规则适用的机器人（例如“Googlebot”等）
Disallow: 您希望阻止机器人访问的页面（根据需要，禁止多行）
阻止整个网站： Disallow: /
阻止一个目录及其中的一切： Disallow: /private_directory/
阻止页面： Disallow: /private_file.html
要阻止一个页面和（或）一个名为private的目录： Disallow: /private
Allow: 不需要阻止机器人访问的页面
Noindex: 您希望搜索引擎阻止和不要索引的页面（或者如果先前已建立索引，则将其解除索引）。支持Google，不支持雅虎和实时搜索（Live Search），其他搜索未知。
例如：为了允许机器人对所有http页面进行索引 ：
User-agent: *
Disallow:
答：每当他们访问网站时，都会检查robots.txt文件。一旦将robots.txt文件的规则上传到站点的根目录并且机器人进入站点，则robots.txt文件中的规则将会生效。访问的频率根据流行度，权限以及内容更新频率的不同，机器人蜘蛛网的频率有所不同。有些网站每天可能会被抓取多次，而其他网站可能每周只能爬行几次。
抓取延迟：
某些网站可能会遇到大量流量，并希望将搜索引擎蜘蛛减慢，以允许更多的服务器资源来满足常规流量的需求。抓取延迟是Yahoo，Live Search和Ask所认可的特殊指令，指示抓取工具在抓取页面之间等待的秒数：
模式匹配
模式匹配现在似乎可用于：Google，Yahoo和Live Search。模式匹配的价值相当可观。让我们先看一下最基本的模式匹配，使用星号通配符。阻止访问以“private”开头的所有子目录：
您可以使用美元符号（$）匹配字符串的末尾。例如，阻止以.asp结尾的URL：
与在Perl和其他地方的正则表达式中发现的更先进的模式匹配不同，问号没有特殊的权力。所以，阻止对包含问号（？）的所有URL的访问，只需使用问号（不需要“转义”或者使用反斜杠）：
阻止机器人抓取特定文件类型的所有文件（例如.gif）：
假设您的站点仅使用查询字符串部分的URL（“？”），仅用于会话ID，并且您要排除包含动态参数的所有URL，以确保机器人不会抓取重复的页面。但是您可能希望包含以“？”结尾的任何URL。以下是如何实现的：
允许指令：
就像听起来一样，它与Disallow指令相反，它提供了专门调用可能被抓取的目录或页面的能力。这在大部分或者整个场地被禁止之后可能是有益的。
要允许Googlebot只进入“google”目录：
Noindex指令：
该指令提供了从搜索结果中消除无代号无标题列表的优点，但仅限于Google。用Matt Cutts的话说： Google允许在robots.txt中使用NOINDEX指令，它将完全从Google删除所有匹配的站点URL。（这种行为可能会根据这个政策讨论而改变，当然这也是为什么我们还没有谈论过这个问题。）
网站地图：
XML网站地图文件可以告诉搜索引擎您网站上的所有页面，并且可选地提供有关这些页面的信息，例如哪些是最重要的以及更改频率。它充当一个自动发现机制，让蜘蛛找到XML站点地图文件。您可以通过在robots.txt文件中添加以下行来告诉Google和其他搜索引擎您的Sitemap：Sitemap: sitemap_location
sitemap_location是Sitemap的完整网址。此指令与 User-agent 与此无关，因此放在任何地方并不重要，不过一般是放在最后。所有主要的搜索引擎都支持Auto-Discovery Sitemap协议，包括Google，Yahoo，Live Search和Ask。
1、我们要合理在网站允许范围内采集网页数据
参考robot.txt的爬虫协议。
2、其次要符合网站的爬虫频次限制。
有个标识是，不能让采集网站失去正常访问的功能。比如正常访客进入网站出现卡顿、白屏、服务器资源消耗严重等。
最后，希望大家合法合理地使用爬虫技术。
参考：http://www.webkaka.com/tutorial/zhanzhang/2017/061771/
参考：https://www.jiemian.com/article/2172053.html