一提到爬蟲(chóng)，大多數(shù)同學(xué)都想到的是Python，今天小千就給大家上一下不同的菜，利用js制作一個(gè)爬蟲(chóng)，Python用膩了來(lái)試試js吧。

      一、引言

      最近娛樂(lè)圈比較的火的算是鄭爽事件了，作為一名程序猿如何能或者最新的娛樂(lè)熱點(diǎn)新聞呢？ 今天咱們就用js做一個(gè)網(wǎng)絡(luò)爬蟲(chóng)，來(lái)爬取一個(gè)網(wǎng)站的新聞數(shù)據(jù)。

      二、什么是爬蟲(chóng)？

      網(wǎng)絡(luò)爬蟲(chóng)，又稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，意思是我們通過(guò)程序去搜集網(wǎng)絡(luò)上某些網(wǎng)站的數(shù)據(jù)。典型的通過(guò)爬蟲(chóng)獲取數(shù)據(jù)的網(wǎng)站，比如百度、谷歌等搜索引擎。還有一些新聞聚合類網(wǎng)站，比如今日頭條等網(wǎng)站。之前淘寶的一淘，返利網(wǎng)等網(wǎng)站都是利用了爬蟲(chóng)技術(shù)去獲取別人網(wǎng)站的一些信息。 爬蟲(chóng)也不能亂用，無(wú)限制的去爬取一個(gè)網(wǎng)站的信息，那樣會(huì)導(dǎo)致人家公司服務(wù)器壓力比較大。之前有句爬蟲(chóng)界比較流行的話：爬蟲(chóng)玩的好,監(jiān)獄進(jìn)的早;數(shù)據(jù)玩的溜,牢飯吃個(gè)夠！做技術(shù)的要有自己的底線，之前有程序員用爬蟲(chóng)為公司做了一些工作，結(jié)果公司被訴訟，程序猿被帶走！

      三、開(kāi)始之前

      為了防止出一些意外，首先我們可以訪問(wèn)你要爬取的目標(biāo)網(wǎng)站的robots協(xié)議。 robots協(xié)議也叫robots.txt（統(tǒng)一小寫(xiě)）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)爬蟲(chóng)：此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被爬蟲(chóng)獲取的，哪些是可以被爬蟲(chóng)獲取的。參考robots.txt去爬取數(shù)據(jù)，再設(shè)置一下間歇時(shí)間，不會(huì)有人在意的。

      紅色部分是關(guān)鍵，所有的網(wǎng)頁(yè)都不能被爬取！！有句話不知當(dāng)講不當(dāng)講！

      冷靜下來(lái)，文章還沒(méi)寫(xiě)就要結(jié)束了嗎？我的kpi咋辦！！！

      看看我們的今天要爬取的網(wǎng)頁(yè)地址，我們今天要爬取的網(wǎng)頁(yè)后綴名不是html！！！

      不知道是不是網(wǎng)站的技術(shù)人員忽略了這樣的地址，哈哈哈。

      四、正式開(kāi)始

      我們使用nodejs做爬蟲(chóng)，要使用到兩個(gè)npm包，cheerio 和 axios

      首先按照nodej，然后安裝axios和cheerio 。

      五、安裝axios

      axios是一個(gè)可以發(fā)起請(qǐng)求從而獲取網(wǎng)頁(yè)內(nèi)的包。

      鍵盤(pán)上按win+r，輸入CMD，在里面輸入   npm i aixos

      就可以安裝axios

      六、安裝cheerio

      安裝cheerio cheerio 是一的用法跟jQuery的用法差不多。 就是先將頁(yè)面的數(shù)據(jù)load進(jìn)來(lái)形成一個(gè)特定的數(shù)據(jù)格式，然后通過(guò)類似jq的語(yǔ)法，對(duì)數(shù)據(jù)進(jìn)行解析處理。 終端中輸入

      npm i cheerio

      七、爬取數(shù)據(jù)

      新建sp.js文件，寫(xiě)入如下代碼

      執(zhí)行node sp.js 命令

      網(wǎng)頁(yè)的數(shù)據(jù)已經(jīng)獲取到了，然后我們就可以使用jquery的語(yǔ)法獲取頁(yè)面中的數(shù)據(jù)了。 下面我們分析一下頁(yè)面的結(jié)構(gòu)

      可以看到頁(yè)面中所有的新聞標(biāo)題都在a標(biāo)簽中，類名是truetit。然后我們就可以使用jq的選擇器獲取頁(yè)面中所有類名為truetit的元素。

      終端中結(jié)果

      這樣每次執(zhí)行就可以獲取最新的娛樂(lè)新聞，不需要打開(kāi)網(wǎng)頁(yè)就可以獲取到，當(dāng)然我們只是獲取了第一頁(yè)的數(shù)據(jù)，你也可以獲取第二頁(yè)、第三頁(yè)等其他頁(yè)面的數(shù)據(jù)。 我們現(xiàn)在相當(dāng)于只獲取了一個(gè)網(wǎng)站的娛樂(lè)數(shù)據(jù)，如果你再分析一些其他的網(wǎng)站，獲取一些其他的網(wǎng)站的數(shù)據(jù)，然后把數(shù)據(jù)都存儲(chǔ)起來(lái)，自己就可以做一個(gè)只顯示娛樂(lè)新聞的網(wǎng)站了！

      學(xué)習(xí)web前端，可以參考千鋒web前端培訓(xùn)班提供的web前端學(xué)習(xí)路線，該學(xué)習(xí)路線對(duì)從零基礎(chǔ)小白到web前端初級(jí)開(kāi)發(fā)工程師，web前端高級(jí)開(kāi)發(fā)工程師，后面的web前端大神級(jí)開(kāi)發(fā)工程師都有一個(gè)明確清晰的指導(dǎo)，根據(jù)千鋒web前端培訓(xùn)機(jī)構(gòu)提供的web前端學(xué)習(xí)路線圖可以讓你對(duì)學(xué)習(xí)web前端開(kāi)發(fā)需要掌握的知識(shí)有個(gè)清晰的了解，并快速入門(mén)web前端開(kāi)發(fā)。想要獲取前端完整學(xué)習(xí)路線和免費(fèi)的學(xué)習(xí)資料可以添加我們的web前端技術(shù)分享交流qq群：857920838  加群找群管理領(lǐng)取即可，等你來(lái)哦~~