怎么利用多个goroutine访问/修改列表/映射

在IT行业这个发展更新速度很快的行业，只有不停止的学习，才不会被行业所淘汰。如果你是Golang学习者，那么本文《怎么利用多个goroutine访问/修改列表/映射》就很适合你！本篇内容主要包括怎么利用多个goroutine访问/修改列表/映射，希望对大家的知识积累有所帮助，助力实战开发！

问题内容

我正在尝试使用 go lang 作为示例任务来实现多线程爬虫来学习语言。

它应该扫描页面，跟踪链接并将它们保存在数据库中。

为了避免重复，我尝试使用地图来保存我已经保存的所有 URL。

同步版本运行良好，但我在尝试使用 goroutine 时遇到了麻烦。

我正在尝试将互斥锁用作映射的同步对象，并将通道用作协调 goroutines 的一种方式。但显然我对它们没有清楚的了解。

问题是我有很多重复的条目，所以我的地图存储/检查无法正常工作。

这是我的代码：

package main

import (
    "fmt"
    "net/http"
    "golang.org/x/net/html"
    "strings"
    "database/sql"
    _ "github.com/ziutek/mymysql/godrv"
    "io/ioutil"
    "runtime/debug"
    "sync"
)

const maxDepth = 2;

var workers = make(chan bool)

type Pages struct {
    mu sync.Mutex
    pagesMap map[string]bool
}

func main() {
    var pagesMutex Pages
    fmt.Println("Start")
    const database = "gotest"
    const user = "root"
    const password = "123"

    //open connection to DB
    con, err := sql.Open("mymysql", database + "/" + user + "/" + password)
    if err != nil { /* error handling */
        fmt.Printf("%s", err)
        debug.PrintStack()
    }

    fmt.Println("call 1st save site")
    pagesMutex.pagesMap = make(map[string]bool)
    go pagesMutex.saveSite(con, "http://golang.org/", 0)

    fmt.Println("saving true to channel")
    workers 

                tagName := token.Data
                if strings.Compare(string(tagName), "a") == 0 {
                    for _, attr := range token.Attr {
                        if strings.Compare(attr.Key, "href") == 0 {
                            if depth 
            case html.SelfClosingTagToken: // <tag></tag>

            }

        }

    }
    val := <p>有人可以向我解释如何正确地做到这一点吗？</p><h2 class="daan">正确答案</h2><p>好吧，您有两个选择，对于一个小而简单的实现，我建议将地图上的操作分离到一个单独的结构中。</p><pre class="brush:go;toolbar:false">// Index is a shared page index
type Index struct {
    access sync.Mutex
    pages map[string]bool
}

// Mark reports that a site have been visited
func (i Index) Mark(name string) {
    i.access.Lock()
    i.pages[name] = true
    i.access.Unlock()
}

// Visited returns true if a site have been visited
func (i Index) Visited(name string) bool {
    i.access.Lock()
    defer i.access.Unlock()

    return i.pages[name]
}

然后，添加另一个结构，如下所示：

// Crawler is a web spider :D
type Crawler struct {
    index Index
    /* ... other important stuff like visited sites ... */
}

// Crawl looks for content
func (c *Crawler) Crawl(site string) {
    // Implement your logic here 
    // For example: 
    if !c.index.Visited(site) {
        c.index.Mark(site) // When marked
    }
}

这样你就可以让事情变得清晰明了，可能会多一点代码，但绝对更具可读性。您需要像这样实例化爬虫：

sameIndex := Index{pages: make(map[string]bool)}
asManyAsYouWant := Crawler{sameIndex, 0} // They will share sameIndex

如果您想通过高级解决方案走得更远，那么我会推荐生产者/消费者架构。

理论要掌握，实操不能落！以上关于《怎么利用多个goroutine访问/修改列表/映射》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！