2020-04-15

Go 头像爬虫

仅供学习交流，严禁用于商业用途！！！

最近在学 Go 语言，感觉看了书有段时间了。所以想能不能写个程序看看，这边用 Go 写一个头像爬虫。

通过谷歌搜索头像发现这个网站排第一，开搞。

代码

package main

import (
    "bytes"
    "fmt"
    "io"
    "io/ioutil"
    "net/http"
    "os"
    "strings"
    "time"

    "github.com/PuerkitoBio/goquery"
)

const (
    // Domain 域名
    Domain = "www.xxx.com"
    // TmpDir 临时文件夹
    TmpDir = "./tmp/"
)

// 根据页码获取列表页 URL。
func getListURL(page int) string {
    url := fmt.Sprintf("https://%s/touxiang/", Domain)

    if page == 1 {
        return url + "index.html"
    }

    return fmt.Sprintf("%sindex_%d.html", url, page)
}

// 获取列表页的详情页列表。
func getListPage(url string) (list []string, err error) {
    list = []string{}

    html, err := http.Get(url)

    if err != nil {
        return
    }

    doc, err := goquery.NewDocumentFromReader(html.Body)

    if err != nil {
        return
    }

    doc.Find(".pMain .txList").Each(func(i int, s *goquery.Selection) {
        itemURL, _ := s.Find("a").Attr("href")
        list = append(list, fmt.Sprintf("https://%s%s", Domain, itemURL))
    })

    return list, nil
}

// 获取详情页图片列表。
func getImages(url string) (list []string, err error) {
    list = []string{}

    html, err := http.Get(url)

    if err != nil {
        return
    }

    doc, err := goquery.NewDocumentFromReader(html.Body)

    if err != nil {
        return
    }

    doc.Find(".artCont .tx-img").Each(func(i int, s *goquery.Selection) {
        imageURL, _ := s.Find("a").Attr("href")
        list = append(list, normalizeURL(imageURL))
    })

    return list, nil
}

// 格式化图片 URL。
func normalizeURL(url string) string {
    if strings.Index(url, "//") == 0 {
        url = "https:" + url
    }

    if strings.Index(url, "!400x400_big") != -1 {
        return strings.Replace(url, "!400x400_big", "", 1)
    } else if strings.Index(url, "!400x400") != -1 {
        return strings.Replace(url, "!400x400", "", 1)
    }

    return url
}

// 格式化全部文件名，编号重新命名文件。
func normalizeAllFileName() (err error) {
    files, err := ioutil.ReadDir(TmpDir)

    if err != nil {
        return err
    }

    for k, file := range files {
        os.Rename(TmpDir+file.Name(), fmt.Sprintf("%s%d.jpeg", TmpDir, k+1))
    }

    return nil
}

// 生成文件名，根据 URL 最后的文件名。
func generateFileName(url string) string {
    _url := strings.Split(url, "/")

    return _url[len(_url)-1]
}

// 下载图片后保存到本地。
func downloadImage(url string, filename string) (err error) {
    resp, err := http.Get(url)

    if err != nil {
        return
    }

    body, _ := ioutil.ReadAll(resp.Body)
    out, _ := os.Create(TmpDir + filename)
    io.Copy(out, bytes.NewReader(body))

    return nil
}

func main() {
    for i := 1; i <= 30; i++ {
        url := getListURL(i)

        fmt.Printf("正在抓取第 %d 页：%s\n", i, url)

        list, err := getListPage(url)

        if err != nil {
            fmt.Println("获取列表失败")
        }

        for _, itemURL := range list {
            fmt.Printf("正在抓取图片列表：%s\n", itemURL)

            // 间隔 3 秒在继续执行，避免服务器压力
            time.Sleep(time.Duration(3) * time.Second)

            images, err := getImages(itemURL)

            if err != nil {
                fmt.Printf("获取图片列表失败%s\n", itemURL)
            }

            for _, image := range images {
                fmt.Printf("正在下载图片：%s\n", image)

                filename := generateFileName(image)

                err := downloadImage(image, filename)

                if err != nil {
                    fmt.Printf("图片下载失败：%s\n", image)
                }
            }
        }
    }

    fmt.Println("全部抓取完成")

    normalizeAllFileName()

    fmt.Println("完成！！！")
}

使用

创建一个项目文件夹，然后在项目根目录创建 avatar.go 来存放上面代码，接着还是在项目根目录创建 tmp 文件夹来临时存放图片。

安装需要的依赖

1	$ go get github.com/PuerkitoBio/goquery

执行

1	$ go run avatar.go

Go 头像爬虫

代码

使用

分类