Como o Django pode lidar com 100 milhões de solicitações por dia

Hoje escreverei sobre Django, uma estrutura que me serviu fielmente nos últimos cinco anos. Ele me ajudou a ter sucesso no desenvolvimento de soluções de alta carga usadas por milhões de usuários hoje.

Na verdade, Python não é uma linguagem de programação muito “rápida”, mas é simples, conveniente e as pessoas adoram. Do ponto de vista do desempenho, pode não ser tão rápido quanto Go ou Node.js, mas se torna irrelevante quando se considera estruturas modernas e desenvolvimento modular.

Como estou nesse "pote de desenvolvimento de Django" há vários anos, cheguei a alguns insights valiosos que irei compartilhar com você.

1. A infraestrutura decide

Além do desempenho do aplicativo, a primeira coisa de que você precisa é uma estrutura que permita escalar quando o aplicativo atinge seu limite, e o Django pode escalar facilmente se você seguir estas diretrizes:

• Divida seu aplicativo em microsserviços, mas considere a quantidade de dados transferidos entre eles, especialmente porque a redundância de dados e a sincronização frequente causam um aumento nos recursos e comunicações do servidor e, portanto, custos mais altos;
• Use contêineres Docker para enviar seu código para produção;
• Docker , , Kubernetes, ;
• : / ;
• : - , (. .: — Kubernetes), Kubernetes, , . — .

2. —

, . , , , , :

• . PostgreSQL, , , , ;
• . - (IOPS) ;
• , ;
• , — , : ( SELECT), ( INSERT, UPDATE). Django , , .

3. Django ORM

, ORM, . , , 100 — 20 .

, , settings.py:

LOGGING = {
    'version': 1,
    'handlers': {
        'console': {
            'class': 'logging.StreamHandler',
        },
    },
    'loggers': {
        'django.db.backends': {
            'level': 'DEBUG',
        },
    },
    'root': {
        'handlers': ['console'],
    }
}

:

— PostgreSQL, pghero.

4.

, . Django , - .

CONN_MAX_AGE — , . . 5 . , , , , 100 , .

, 0 300 . AWS Aurora db.r5.8xlarge, db.r5.4xlarge, , , , .

5. (middlewares)

, , Django REST API. (sessions) (messages) — . , .

6. bulk-

bulk-, . Django ORM SQL-.

5000 , batch_size (. .: ). Python, , , .

bulk- Django

7. select_related

, JOIN.

, 11 :

, , :

select_related , ORM SQL- JOIN. , WHERE .

8.

. , .

Django ORM QuerySet .only() , .defer(), Django , :

9. API

, API. JSON , , .

: 1 , 1 , 1 , 30 — (. .: ) .

, Django Python, , : « — ».

Django . , , (. .: «») , «» .

, , . , .

Instagram, Pinterest Disqus — Django « », . , , , , , , .

, bulk-, , . .