Go worker pool: ограничить число горутин

Категория: Backend · Язык: Go · Обновлено:

Worker pool запускает фиксированное число горутин, которые читают задачи из канала. Это ограничивает параллелизм и защищает базу или API от сотен одновременных запросов. В отличие от go handle(job) на каждую задачу, пул переиспользует воркеров и даёт предсказуемую нагрузку.

Собрать пул из трёх воркеров

Go
package main

import (
    "context"
    "fmt"
    "sync"
)

func worker(ctx context.Context, id int, jobs <-chan int, results chan<- int, wg *sync.WaitGroup) {
    defer wg.Done()
    for {
        select {
        case <-ctx.Done():
            return
        case job, ok := <-jobs:
            if !ok {
                return
            }
            results <- job * 2
        }
    }
}

func main() {
    ctx, cancel := context.WithCancel(context.Background())
    defer cancel()

    jobs := make(chan int)
    results := make(chan int, 3)
    var wg sync.WaitGroup

    for i := 1; i <= 3; i++ {
        wg.Add(1)
        go worker(ctx, i, jobs, results, &wg)
    }

    go func() {
        for _, job := range []int{1, 2, 3} {
            jobs <- job
        }
        close(jobs)
    }()

    go func() {
        wg.Wait()
        close(results)
    }()

    for result := range results {
        fmt.Println(result)
    }
}

jobs — небуферизованный канал задач, results — буферизованный канал результатов. Закрытие jobs завершает циклы воркеров; wg.Wait() закрывает results после последнего результата. context позволяет отменить пул при ошибке или остановке приложения.

Размер пула выбирайте по нагрузке: для CPU-задач — около runtime.NumCPU(), для сетевых — по лимитам внешнего сервиса. Не создавайте канал результатов без потребителя: воркеры заблокируются. Если задач больше, чем буфер, продюсер тоже будет ждать — это нормальное backpressure.

Для ошибок используйте отдельный канал или errgroup.Group с ограничением параллелизма (SetLimit). Не закрывайте jobs из нескольких горутин и не отправляйте в закрытый канал. Для динамического числа воркеров добавьте context и сигнал остановки.

Проверяйте пул под race detector: go test -race ./.... Порядок результатов не гарантирован; если он важен, добавляйте индекс задачи и сортируйте после сбора.

Документация: Go by Example: Worker Pools, sync.WaitGroup.