Clever Geek Handbook

Independent HttpBench for D, ou os testes da TechEmpower mentem?

Uma estrutura simples para testar servidores HTTP, inspirada no Simple Web Benchmark ( há um gráfico para muitas outras linguagens ), mas focada em estruturas e bibliotecas dlang .



Ele mede o RPS atingível (solicitações por segundo) em um script de texto simples.



Os testes foram coletados ou modificados em vários lugares (incluindo TechEmpower ).



Ele usa um contêiner docker para construir e hospedar serviços e pode ser executado localmente ou usar um testador de carga de um host remoto.



O gerador de carga padrão é WRK e pedidos estatísticas do coletor, mas hey é suportado também (basta usar o interruptor --tool).



Os testes podem ser executados sem docker, você só precisa instalar os compiladores para as linguagens testadas e o gerador de inicialização wrk / hey (mas testado apenas no Linux).



Nota para testes io_uring:



  • Os testes requerem pelo menos um kernel Linux 5.7.
  • Também pode haver problemas com limites de memória bloqueada definidos pelo usuário (ulimit -l) quando executado com um usuário normal.
  • , Kernel 5.7.16. . : #189, #8.




:



  • singleCore — / ( ).
  • multiCore —






  • make build —
  • make shell —

    : .




, ( ): 



make all        # runs all tests
make single     # runs tests limited to single CPU core usage
make multi      # runs tests limited to multiple CPU cores usage


_suite/runner.d CLI-.



  • _suite/runner.d list — -
  • _suite/runner.d bench —
  • _suite/runner.d responses —
  • _suite/runner.d versions — Markdown

    _suite/runner.d -h CLI .


:



_suite/runner.d bench --type singleCore dlang rust #     dlang  rust




(. ), CLI .



:



  • , , .
  • - _suite/runner.d bench --type singleCore -r foo@192.168.0.3 --host 192.168.0.2 dlang


-r --remote , ssh. --host , CLI IP , , .



ssh , ssh ( ).



(hey) .



, , .



/



Techempower .



, .



  • (.. ..)
  • HTTP-


, , , , , .



C



. HTTP-, eventloop .



epoll io_uring. raw.



dlang



arsd-official



. http :



  • process — , .
  • threads — threadpool
  • hybrid — Linux , .


singeCore, ( ) eventloop, (.. CGI) .



. — .



during



  • raw — , , ( , ,… — )

    TBD — / io_uring, epoll Linux-.


epoll



, , . , — , during/raw



eventcore



, vibe-d. epoll linux (iocp kqueue windows MacOS).



, http , , .



  • callbacks — .
  • fibers —


hunt





lighttp



code.dlang.org, .



, .



mecca



Weka.



.



: druntime, . . , .



photon



code.dlang.org, , syscalls glibc epoll eventloop , .



nodejs http-parser ( , pico) .



vibe-core



, eventcore .



- , TCPConnection , .



, http .



vibe-d



- dlang, .



dotnet



ASP.Net Core.



, ( , , ...). .. , .



golang



fasthttp .



HTTP , .



rust



Actix :



  • actix-web —
  • actix-raw —




Single core results ()



: AMD Ryzen 7 3700X 8-Core, kernel 5.8.10

: Intel® Core(TM) i5-5300U CPU @ 2.30GHz, kernel 5.8.9

: 1Gbps through cheap gigabit switch

: for i in 8 64 128 256; do _suite/runner.d bench --type singleCore --tool wrk -b 2 -d 120 -c $i -r tomas@10.0.0.2; done
go go1.15.1
ldc2 1.23.0
rust 1.48.0-nightly
dotnet 5.0.100-rc.1.20452.10


De um tradutor . Versões completas de tabelas com resultados podem ser visualizadas no original . Mas nem tudo está obviamente misturado lá, então fiz mais gráficos visuais sobre o número de solicitações processadas em 2 minutos (req, rps proporcionalmente) para duas categorias - frameworks completos sem ajustes e todo o resto, incluindo bibliotecas básicas. E dois resultados - para 8 trabalhadores e para 256 para mostrar escalabilidade.







E sim, os testes da TechEmpower, misturando versões ajustadas com as usuais, embelezam muito em alguns lugares.



More articles:


All Articles