❶ python爬蟲可以爬哪些網站
理論上可以爬任何網站。
但是爬取內容時一定要慎重，有些底線不能觸碰，否則很有可能真的爬進去！
❷ 有哪些網站用爬蟲爬取能得到很有價值的數據
1.抓取淘寶網中賣家等級小於四心的賣鞋的江蘇地區的賣家帳號；
2.抓取誠信通超過三年的賣飾品的賣家帳號；
3.抓取天貓商城中新開用戶且賣水晶的蘇州賬戶。
❸ 爬蟲是如何主動找到網站地址的
網路的蜘蛛是會順著網上的所有鏈接進行撒網式抓取，只要有鏈接指向你們網站，就能找到了，望採納
❹ 有哪些網站用爬蟲爬取能得到很有價值的數據
抓取外賣平台的各種店面的開業情況以及用戶消費和評價，了解周邊變化的口味，所謂是「舌尖上的爬蟲」。
❺ 如何准確判斷請求是搜索引擎爬蟲發出的請求
網站經常會被各種爬蟲光顧，有的是搜索引擎爬蟲，有的不是，通常情況下這些爬蟲都有UserAgent，而我們知道UserAgent是可以偽裝的，UserAgent的本質是Http請求頭中的一個選項設置，通過編程的方式可以給請求設置任意的UserAgent。 所以通過UserAgent判斷請求的發起者是否是搜索引擎爬蟲（蜘蛛）的方式是不靠譜的，更靠譜的方法是通過請求者的ip對應的host主機名是否是搜索引擎自己家的host的方式來判斷。要獲得ip的host，在windows下可以通過nslookup命令，在linux下可以通過host命令來獲得，例如：這里我在windows下執行了nslookup ip 的命令，從上圖可以看到這個ip的主機名是crawl-66-249-64-119.googlebot.com。 這說明這個ip是一個google爬蟲，google爬蟲的域名都是 xxx.googlebot.com.我們也可以通過python程序的方式來獲得ip的host信息，代碼如下：import socketdef getHost(ip): try: result=socket.gethostbyaddr(ip) if result: return result[0], None except socket.herror,e: return None, e.message上述代碼使用了socket模塊的gethostbyaddr的方法獲得ip地址的主機名。常用蜘蛛的域名都和搜索引擎官網的域名相關，例如：網路的蜘蛛通常是.com或者.jp的子域名google爬蟲通常是googlebot.com的子域名微軟bing搜索引擎爬蟲是search.msn.com的子域名搜狗蜘蛛是crawl.sogou.com的子域名基於以上原理，我寫了一個工具頁面提供判斷ip是否是真實搜索引擎的工具頁面，該頁面上提供了網頁判斷的工具和常見的google和bing的搜索引擎爬蟲的ip地址。頁面地址：http://outofmemory.cn/tools/is-search-engine-spider-ip/ 本文提供的代碼是python代碼，通過c#代碼也是可以實現的，原理是一樣的。
❻ 有哪些網站用爬蟲爬取能得到很有價值的數據
看您自己需要什麼信息啊，像某寶上的寶貝信息，58等門戶網站上的各分類信息，都是很有價值的；某寶上的楚江數據就是做網站APP數據採集，爬蟲定製，各類網站都能爬到有價值數據。
❼ 一個網站除了百度以外爬蟲其爬蟲是那哪些呀
一搜蜘蛛，搜狗蜘蛛，AhrefsAhrefs蜘蛛，谷歌蜘蛛，360蜘蛛，網路，微軟bing，雅虎蜘蛛
答案滿意採納下唄，順便點個贊～謝啦
❽ 有哪些好用的爬蟲軟體
推薦如下：
1、神箭手雲爬蟲。
神箭手雲是一個大數據應用開發平台，為開發者提供成套的數據採集、數據分析和機器學習開發工具，為企業提供專業化的數據抓取、數據實時監控和數據分析服務。功能強大，涉及雲爬蟲、API、機器學習、數據清洗、數據出售、數據訂制和私有化部署等。
簡介：
網路爬蟲（又稱為網頁蜘蛛，網路機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。
❾ 有哪些網站用爬蟲爬取能得到很有價值的數據
一般有一下幾種
一些常用的方法
IP代理
對於IP代理,各個語言的Native Request API都提供的IP代理響應的API, 需要解決的主要就是IP源的問題了.
網路上有廉價的代理IP(1元4000個左右), 我做過簡單的測試, 100個IP中, 平均可用的在40-60左右, 訪問延遲均在200以上.
網路有高質量的代理IP出售, 前提是你有渠道.
因為使用IP代理後, 延遲加大, 失敗率提高, 所以可以將爬蟲框架中將請求設計為非同步, 將請求任務加入請求隊列(RabbitMQ,Kafka,Redis), 調用成功後再進行回調處理, 失敗則重新加入隊列. 每次請求都從IP池中取IP, 如果請求失敗則從IP池中刪除該失效的IP.
Cookies
有一些網站是基於cookies做反爬蟲, 這個基本上就是如 @朱添一 所說的, 維護一套Cookies池
注意研究下目標網站的cookies過期事件, 可以模擬瀏覽器, 定時生成cookies
限速訪問
像開多線程,循環無休眠的的暴力爬取數據, 那真是分分鍾被封IP的事, 限速訪問實現起來也挺簡單(用任務隊列實現), 效率問題也不用擔心, 一般結合IP代理已經可以很快地實現爬去目標內容.
一些坑
大批量爬取目標網站的內容後, 難免碰到紅線觸發對方的反爬蟲機制. 所以適當的告警提示爬蟲失效是很有必有的.
一般被反爬蟲後, 請求返回的HttpCode為403的失敗頁面, 有些網站還會返回輸入驗證碼(如豆瓣), 所以檢測到403調用失敗, 就發送報警, 可以結合一些監控框架, 如Metrics等, 設置短時間內, 告警到達一定閥值後, 給你發郵件,簡訊等.
當然, 單純的檢測403錯誤並不能解決所有情況. 有一些網站比較奇葩, 反爬蟲後返回的頁面仍然是200的(如去哪兒), 這時候往往爬蟲任務會進入解析階段, 解析失敗是必然的. 應對這些辦法, 也只能在解析失敗的時候, 發送報警, 當告警短時間到達一定閥值, 再觸發通知事件.
當然這個解決部分並不完美, 因為有時候, 因為網站結構改變, 而導致解析失敗, 同樣回觸發告警. 而你並不能很簡單地區分, 告警是由於哪個原因引起的.
❿ 人人都要懂得網站爬蟲知識，你知道多少呢
網路爬蟲是一種按照一定的規則，自動地抓取互聯網信息的程序或者腳本。[2] 可以理解為一個自動訪問網頁並進行相關操作的小機器人。本質上就是實現高效、自動地進行網路信息的讀取、收集等行為。爬蟲程序最早是1994年休斯敦大學的Eichmann開發的RBSE。著名的谷歌公司使用的Google Crawler是當時還是斯坦福大學生Brin和Page在1998年用Python開發的。
使用爬蟲技術可能帶來的法律風險主要來自幾方面：
（1）違反被爬取方的意願，例如規避網站設置的反爬蟲措施、強行突破其反爬措施；
（2）爬蟲的使用造成了干擾了被訪問網站正常運行的實際後果；
（3）爬蟲抓取到受法律保護的特定類型的信息。其中，第（3）類風險主要來自於通過規避爬蟲措施抓取到了互聯網上未被公開的信息。
答：遵守robots 協議的就不違法了 。
答：查詢網站域名加/robots.txt 的鏈接下的文件。
比如 抖音：https://www.douyin.com/robots.txt。
User-Agent: 以下規則適用的機器人（例如「Googlebot」等）
Disallow: 您希望阻止機器人訪問的頁面（根據需要，禁止多行）
阻止整個網站： Disallow: /
阻止一個目錄及其中的一切： Disallow: /private_directory/
阻止頁面： Disallow: /private_file.html
要阻止一個頁面和（或）一個名為private的目錄： Disallow: /private
Allow: 不需要阻止機器人訪問的頁面
Noindex: 您希望搜索引擎阻止和不要索引的頁面（或者如果先前已建立索引，則將其解除索引）。支持Google，不支持雅虎和實時搜索（Live Search），其他搜索未知。
例如：為了允許機器人對所有http頁面進行索引 ：
User-agent: *
Disallow:
答：每當他們訪問網站時，都會檢查robots.txt文件。一旦將robots.txt文件的規則上傳到站點的根目錄並且機器人進入站點，則robots.txt文件中的規則將會生效。訪問的頻率根據流行度，許可權以及內容更新頻率的不同，機器人蜘蛛網的頻率有所不同。有些網站每天可能會被抓取多次，而其他網站可能每周只能爬行幾次。
抓取延遲：
某些網站可能會遇到大量流量，並希望將搜索引擎蜘蛛減慢，以允許更多的伺服器資源來滿足常規流量的需求。抓取延遲是Yahoo，Live Search和Ask所認可的特殊指令，指示抓取工具在抓取頁面之間等待的秒數：
模式匹配
模式匹配現在似乎可用於：Google，Yahoo和Live Search。模式匹配的價值相當可觀。讓我們先看一下最基本的模式匹配，使用星號通配符。阻止訪問以「private」開頭的所有子目錄：
您可以使用美元符號（$）匹配字元串的末尾。例如，阻止以.asp結尾的URL：
與在Perl和其他地方的正則表達式中發現的更先進的模式匹配不同，問號沒有特殊的權力。所以，阻止對包含問號（？）的所有URL的訪問，只需使用問號（不需要「轉義」或者使用反斜杠）：
阻止機器人抓取特定文件類型的所有文件（例如.gif）：
假設您的站點僅使用查詢字元串部分的URL（「？」），僅用於會話ID，並且您要排除包含動態參數的所有URL，以確保機器人不會抓取重復的頁面。但是您可能希望包含以「？」結尾的任何URL。以下是如何實現的：
允許指令：
就像聽起來一樣，它與Disallow指令相反，它提供了專門調用可能被抓取的目錄或頁面的能力。這在大部分或者整個場地被禁止之後可能是有益的。
要允許Googlebot只進入「google」目錄：
Noindex指令：
該指令提供了從搜索結果中消除無代號無標題列表的優點，但僅限於Google。用Matt Cutts的話說： Google允許在robots.txt中使用NOINDEX指令，它將完全從Google刪除所有匹配的站點URL。（這種行為可能會根據這個政策討論而改變，當然這也是為什麼我們還沒有談論過這個問題。）
網站地圖：
XML網站地圖文件可以告訴搜索引擎您網站上的所有頁面，並且可選地提供有關這些頁面的信息，例如哪些是最重要的以及更改頻率。它充當一個自動發現機制，讓蜘蛛找到XML站點地圖文件。您可以通過在robots.txt文件中添加以下行來告訴Google和其他搜索引擎您的Sitemap：Sitemap: sitemap_location
sitemap_location是Sitemap的完整網址。此指令與 User-agent 與此無關，因此放在任何地方並不重要，不過一般是放在最後。所有主要的搜索引擎都支持Auto-Discovery Sitemap協議，包括Google，Yahoo，Live Search和Ask。
1、我們要合理在網站允許范圍內採集網頁數據
參考robot.txt的爬蟲協議。
2、其次要符合網站的爬蟲頻次限制。
有個標識是，不能讓採集網站失去正常訪問的功能。比如正常訪客進入網站出現卡頓、白屏、伺服器資源消耗嚴重等。
最後，希望大家合法合理地使用爬蟲技術。
參考：http://www.webkaka.com/tutorial/zhanzhang/2017/061771/
參考：https://www.jiemian.com/article/2172053.html