Go worker pool: ограничить число горутин
Worker pool запускает фиксированное число горутин, которые читают задачи из канала. Это ограничивает параллелизм и защищает базу или API от сотен одновременных запросов. В отличие от go handle(job) на каждую задачу, пул переиспользует воркеров и даёт предсказуемую нагрузку.
Собрать пул из трёх воркеров
package main
import (
"context"
"fmt"
"sync"
)
func worker(ctx context.Context, id int, jobs <-chan int, results chan<- int, wg *sync.WaitGroup) {
defer wg.Done()
for {
select {
case <-ctx.Done():
return
case job, ok := <-jobs:
if !ok {
return
}
results <- job * 2
}
}
}
func main() {
ctx, cancel := context.WithCancel(context.Background())
defer cancel()
jobs := make(chan int)
results := make(chan int, 3)
var wg sync.WaitGroup
for i := 1; i <= 3; i++ {
wg.Add(1)
go worker(ctx, i, jobs, results, &wg)
}
go func() {
for _, job := range []int{1, 2, 3} {
jobs <- job
}
close(jobs)
}()
go func() {
wg.Wait()
close(results)
}()
for result := range results {
fmt.Println(result)
}
}jobs — небуферизованный канал задач, results — буферизованный канал результатов. Закрытие jobs завершает циклы воркеров; wg.Wait() закрывает results после последнего результата. context позволяет отменить пул при ошибке или остановке приложения.
Размер пула выбирайте по нагрузке: для CPU-задач — около runtime.NumCPU(), для сетевых — по лимитам внешнего сервиса. Не создавайте канал результатов без потребителя: воркеры заблокируются. Если задач больше, чем буфер, продюсер тоже будет ждать — это нормальное backpressure.
Для ошибок используйте отдельный канал или errgroup.Group с ограничением параллелизма (SetLimit). Не закрывайте jobs из нескольких горутин и не отправляйте в закрытый канал. Для динамического числа воркеров добавьте context и сигнал остановки.
Проверяйте пул под race detector: go test -race ./.... Порядок результатов не гарантирован; если он важен, добавляйте индекс задачи и сортируйте после сбора.
Документация: Go by Example: Worker Pools, sync.WaitGroup.