用Go语言写个篮球比分爬虫？90vs和007那些事儿，我帮你捋清楚

先说个真事儿,上周我熬夜看球，手机上的比分软件突然卡成PPT，急得我差点把手机摔了，后来一查，原来我用的那个App服务器挂了，那一刻我就在想，要是自己会写代码，直接抓个比分数据源不就行了？我这个半吊子Go语言爱好者，还真就试着搞了个小工具，专门盯着90vs篮球比分即时比分网和007这类站点。

你别笑,这事儿还真挺有意思的，今天我就用大白话，把我踩过的坑、学到的招儿，全给你倒出来。

为什么偏偏是Go语言？

你可能会问,Python写爬虫不是更流行吗？对，没错，Python确实方便，但Go语言有个别人比不了的好处——编译成单个可执行文件，扔到服务器上就能跑，不用装环境，不担心依赖冲突，对于看球这种事儿，你总不希望关键时刻程序崩了吧？

Go的并发模型简直是天生为抓取比分准备的，90vs那种网站，一场比赛的数据分好几个接口返回，要是用Python，你可能得写一堆线程同步的代码，但在Go里，goroutine加channel，轻轻松松就能同时抓十几个接口，速度杠杠的。

我自己的感觉是,Go写起来确实没有Python那么“随心所欲”，但胜在稳，就像你喜欢的球队，可能不是最华丽的，但关键时刻不掉链子。

90vs篮球比分即时比分网到底是什么？

好,咱们回到正题。90vs这个名字，经常看球的朋友应该不陌生，它是个聚合型的体育数据平台，篮球、足球、比分、赛程、数据统计，啥都有，我这人有个习惯，喜欢同时开好几个比分网站对照着看——因为有时候一个网站延迟，另一个可能已经更新了。

90vs的篮球比分部分，特点就是“快”和“全”。 尤其是NBA比赛日，一场比赛刚打完，技术统计几乎秒出，这对我们这些喜欢看进阶数据的球迷来说，太重要了。

这里有个现实问题：这种网站的数据，并不是随便就能拿到的，你直接请求它的页面，返回的是一堆HTML和JavaScript，真正的数据是Ajax异步加载出来的。我们抓的不是那个网页，而是网页背后调用的JSON接口。

怎么发现这些接口？教大家一个笨办法：打开浏览器的“开发者工具”（按F12），切到“Network”标签，然后刷新页面，你就能看到所有发出的请求，找那种返回JSON格式的，逐个点开看看，哪个里面有比分数据，哪个就是我们要的。

我当时就是这么干的,在90vs上翻出了一个类似于/api/match/live?id=xxx的地址，返回的数据结构大概是这样的：

{
  "code": 0,
  "data": {
    "home_team": "湖人",
    "away_team": "勇士",
    "home_score": 105,
    "away_score": 102,
    "status": "第四节"
  }
}

拿到这个,后面就好办了。

007又是什么鬼？别搞混了

聊完90vs,咱们说007，这里得先澄清一下，很多人一听到007，第一反应是詹姆斯·邦德，但在咱们篮球圈子里，007通常指的是一些小众的、镜像的比分站点，这些站点可能没有90vs那么全，但好处是——有时候它们的数据更新得更快，或者能绕过某些地区的网络限制。

我个人的经验是,不要只盯着一棵树，90vs挂了，007可能就是你的救命稻草，但007的接口格式跟90vs可能完全不一样，可能是个XML，或者是加密过的，这就考验你的逆向能力了。

说到逆向,我这儿有个“土办法”：抓包，用Charles或者Fiddler这类工具，设置代理，然后手机连上，访问007网站，看它传出来的数据长啥样，有次我搞了一个多小时，结果发现它数据是base64编码的，解码之后就是个JSON，你说气不气人？但搞明白了就觉得，哎，也就这样。

实战：用Go写个最小可用的比分抓取器

光说不练假把式,咱们直接上代码，一步步来，我这个例子简化了很多，但核心逻辑是通的——请求接口，解析JSON，输出结果。

第一步：发起HTTP请求

Go标准库里的net/http就够用了，我们写个函数，输入URL，输出响应体的字节。

package main
import (
    "encoding/json"
    "fmt"
    "io/ioutil"
    "net/http"
    "time"
)
func fetchData(url string) ([]byte, error) {
    client := &http.Client{
        Timeout: 10 * time.Second,
    }
    req, err := http.NewRequest("GET", url, nil)
    if err != nil {
        return nil, err
    }
    // 有些网站会检查User-Agent，伪装成浏览器
    req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36")
    resp, err := client.Do(req)
    if err != nil {
        return nil, err
    }
    defer resp.Body.Close()
    body, err := ioutil.ReadAll(resp.Body)
    if err != nil {
        return nil, err
    }
    return body, nil
}

这里注意一下,超时时间一定要设置，不设的话，如果网站没响应，你的程序可能就挂那儿了，像一个吊在篮筐上的球——上不去下不来。

第二步：定义结构体解析JSON

拿到一堆字节,得转成我们能用的数据，Go语言里的encoding/json就是为了干这个的，我们根据刚才看到的接口格式，定义个结构。

type MatchInfo struct {
    Code int `json:"code"`
    Data struct {
        HomeTeam string `json:"home_team"`
        AwayTeam string `json:"away_team"`
        HomeScore int `json:"home_score"`
        AwayScore int `json:"away_score"`
        Status   string `json:"status"`
    } `json:"data"`
}

然后写个函数,把字节塞进去：

func parseMatch(body []byte) (*MatchInfo, error) {
    var m MatchInfo
    err := json.Unmarshal(body, &m)
    if err != nil {
        return nil, err
    }
    return &m, nil
}

这一步,说实话，最考验耐心，有时候JSON里面嵌套了三四层，你得一层层扒开看，别怕麻烦，拿个在线JSON解析器，粘贴进去，树形结构一目了然。

第三步：组装成一个小工具

把上面两步串起来,我们就能实时抓取90vs或007上的比分了。

func main() {
    // 假设这是我们从007网站上找到的接口
    url := "https://api.007sport.com/live?matchId=789"
    body, err := fetchData(url)
    if err != nil {
        fmt.Println("请求失败:", err)
        return
    }
    match, err := parseMatch(body)
    if err != nil {
        fmt.Println("解析失败:", err)
        return
    }
    fmt.Printf("当前比赛: %s vs %s\n", match.Data.HomeTeam, match.Data.AwayTeam)
    fmt.Printf("比分: %d : %d\n", match.Data.HomeScore, match.Data.AwayScore)
    fmt.Printf("状态: %s\n", match.Data.Status)
}

跑一下,如果不出意外，你就能在命令行里看到实时的比分了。这感觉，比看直播还兴奋——因为这是你自己写出来的程序在帮你干活。

真实世界里的那些破事儿

代码写好了,但你以为就完了？Too young too simple，真实环境里，问题多着呢。

反爬虫机制

90vs和007这种流量大的站,都有防爬手段，最常见的就是检查User-Agent、Referer，还有IP访问频率，我一开始没注意，结果请求了十几次，直接被封了IP，后来我加了代理池，每隔几秒换个IP，才好点。

还有更狠的是动态token，你打开页面的时候，网页会生成一个加密的token，嵌在JavaScript里，你光GET接口是拿不到数据的，得先访问页面，把这个token抠出来，再拼到请求里，这个我搞了好久，最后还是用了个取巧的办法——用goquery解析HTML，把藏在<script>标签里的token正则抠出来。

数据源不稳定

你以为抓到了一次就万事大吉了？No。网站也是人写的，也会改版，可能今天这个接口还能用，明天就404了，所以我代码里加了log，定期记录抓取是否成功，一旦发现连续失败，赶紧去浏览器里看看是不是改版了。

时间同步问题

比分数据讲究的是“实时性”，网络有延迟，你发请求到收到响应，中间差个几百毫秒是正常的，如果你要做一个自动刷新的小工具，得计算好循环间隔，一般NBA比赛，建议5秒抓一次就够用了，太频繁容易被封，太慢又显得不“即时”。

我自己的做法是,抓完一次，看响应头里的Date字段，跟本地时间对比一下，算出偏移量，然后校准下一次请求的时间，这听起来高大上，其实就是当时钟同步。

一个能真正用起来的脚本长啥样？

如果你只想要个看比分的命令行工具,那上面就够了，但如果你想要个定时提醒的功能，比如某个队得分超过120就响铃，那还得加点东西。

我写了个简单的循环,放在后台跑：

func monitorMatch(url string, threshold int) {
    for {
        body, err := fetchData(url)
        if err != nil {
            fmt.Println("错误:", err)
            time.Sleep(10 * time.Second)
            continue
        }
        match, _ := parseMatch(body)
        if match.Data.HomeScore > threshold {
            // 用系统声音提醒
            fmt.Println("\a\a\a 主队得分超过", threshold, "!")
        }
        time.Sleep(5 * time.Second)
    }
}

你会发现,写代码的过程，就是跟数据源斗智斗勇的过程，每解决一个问题，那种成就感，不亚于你支持的球队在最后时刻投进绝杀球。

别依赖别人的“007”，自己写一个多好

说到这,你可能会问：既然网上有那么多现成的比分网站和App，我为啥还要费劲自己写？答案很简单：安全感，你看现在直播平台说卡就卡，说停就停，但自己的代码永远听你的话，你把编译好的exe文件放在服务器上，想什么时候看就什么时候看，想怎么折腾就怎么折腾。

通过写这个小工具,你对Go语言的http、json、goroutine这些包的理解，会比看十篇教程都深刻。这才是动手学习的魅力。

当然了,我也不敢说自己写得多好，我这代码里还有bug呢，比如偶尔内存会涨，或者连接数没释放，但那又怎样呢？先跑起来，再优化，这是程序员的基本素养。

写到这里,我刚好又看了眼手机上的比赛，活塞和步行者还在打加时，我的Go程序还在后台忠实地记录着每一分的变动，这就挺好的。

下次你要是看到有个叫“007”的站点突然忘了加验证码，说不定就是我写的程序在偷偷看球呢。