Como organizar conexões Ethernet em áreas industriais?
A primeira e aparentemente óbvia opção que vem à mente é colocar switches Ethernet, conectá-los, se possível, com ótica e esticar um cabo de par trançado deles até os dispositivos conectados.
É aqui que surge a primeira dificuldade e a primeira diferença entre as redes industriais e as de escritório: a maioria dos interruptores não são instalados em salas de servidores, mas em gabinetes de montagem espalhados pelas oficinas ou no território da instalação. É caro e difícil puxar duas linhas ópticas de cada gabinete ao longo de caminhos diferentes, o que torna mais difícil organizar a conhecida e confiável topologia em estrela. Eu tenho que usar anéis. Qualquer pessoa que mergulhou na construção de redes Ethernet lembra que os anéis de comutação são maus. No caso da Spanning-Tree, esse é realmente o caso. Este protocolo em uma topologia em anel pode ser executado por até 30 segundos, o que geralmente é inaceitável para redes que atendem processos industriais. Pior, a taxa de convergência de STP cai conforme o número de saltos do switch raiz para os switches mais externos aumenta e, como regra,recomenda-se não exceder uma distância de 7 saltos. Isso significa que não deve haver mais de 14 interruptores no anel.
O que você pode fazer a respeito? No caso dos switches Cisco, a solução mais simples é usar o protocolo Resilient Ethernet - REP em vez do STP e sua modificação REP Fast. Este protocolo é especialmente projetado para topologias em anel e fornece convergência de rede em um máximo de 50-100ms para todos os tipos de falhas e tamanhos de anel de até 50 comutadores. Além disso, 50 interruptores em um anel não é o limite para tal protocolo. O tempo de convergência com o crescimento do anel certamente aumentará, mas a mesma Spanning-Tree em anéis deste tamanho nunca convergirá. REP é suportado não apenas em switches industriais, mas também em switches de escritório, em particular na série Catalyst 9000, que podem servir como switches de agregação.
O protocolo é muito fácil de configurar, aqui está um exemplo:
Para casos mais complexos, os protocolos PRP e HSR estão disponíveis. Eles assumem a duplicação total do tráfego ao longo de dois caminhos na rede. Se um dos caminhos falhar, não haverá perda na transmissão de dados. No entanto, o custo de implementação de tal estabilidade é mais alto - o protocolo é suportado apenas em modelos mais antigos e apenas em switches Ethernet industriais (IE3400, IE4000, IE4010, IE5000). No entanto, os requisitos de confiabilidade e convergência da rede industrial, via de regra, são rigidamente determinados pela natureza do processo produtivo que essa rede atenderá. Um tempo de inatividade, mesmo 50 milissegundos, às vezes pode custar mais do que um bom equipamento de rede.
Como garantir a confiabilidade operacional necessária?
Como regra, os requisitos de confiabilidade e tolerância a falhas para o segmento de rede industrial são maiores do que para o de escritório. O equipamento de rede industrial é fabricado e testado para atender a esses requisitos. No caso de switches Cisco, desenho industrial significa:
• montagem em gabinetes compactos em trilho DIN, alimentado por DC;
• proteção de microcircuitos e portas contra descargas eletrostáticas de até 4000 kV;
• sem ventiladores - refrigeração por convecção altamente eficiente, apesar do pequeno tamanho das unidades;
• Capacidade de suportar picos de energia de acordo com os requisitos das certificações IEC 61000-4-11, IEC 61850 - os switches Cisco continuam a operar em caso de queda de energia por um período de até 50 ms, e enviar uma mensagem “Morrendo Sinal Gasp ”quando desconectado;
• relógio interno de alta precisão;
• a capacidade de substituir rapidamente um switch defeituoso simplesmente movendo o cartão SD para um novo (o novo switch surgirá não apenas com a mesma configuração do antigo, mas também com a mesma imagem IOS);
• carregamento rápido (em 80 segundos);
• testes rigorosos de conformidade com as certificações do setor.
Figura 1. Simulação do switch de resfriamento por convecção
Figura 2. Testando a chave para imunidade a influências eletromagnéticas
Figura 3. Testes com exposição à água em uma chave com nível de proteção IP67
Muitas vezes acontece que as chaves industriais são conectadas a chaves de escritório comuns, quanto às chaves de agregação, e se este falhar, o segmento industrial para de funcionar. Para o evitar, é necessário garantir a agregação de interruptores industriais localizados em oficinas ou no território de uma empresa industrial em interruptores especiais de agregação industrial. A Cisco oferece os switches da série Cisco IE5000 para esta finalidade:
Eles são montados em um gabinete de 19 polegadas, podem ser alimentados por energia DC e AC, fornecem alta densidade de porta, alto desempenho, mas ao mesmo tempo confiabilidade industrial e suporte para protocolos industriais como PTP, PRP, HSR, PROFINET MRP . Como outros switches da linha industrial, o Cisco IE5000 é capaz de receber alarmes de dispositivos de automação, por exemplo, dispositivos de controle de clima ou um sensor de porta de sala, e enviá-los - por exemplo, para ligar uma sirene e notificação de luz, além disso, é claro, mensagens de status de switch SNMP e Syslog enviadas para sistemas de monitoramento. Além disso, esses switches suportam empilhamento de portas 10G. Aqui está um exemplo de construção de uma rede usando anéis REP e switches IE5000 como agregadores:
Suporte de protocolo industrial
Redes Ethernet industriais usam versões Ethernet de vários protocolos industriais: PROFINET, CCLINK, CIP, etc. Ao mesmo tempo, como regra, o equipamento de rede é necessário para dar suporte a esses protocolos de uma forma ou de outra. Por exemplo, ao usar PROFINET, é necessário controlar usando este protocolo não apenas controladores, sensores ou atuadores, mas também os próprios interruptores que formam a rede. Para isso, nos modelos de switches industriais Cisco a partir do IE3000, é implementado o suporte para trabalhar sobre PROFINET como dispositivo de entrada-saída. Além disso, alguns modelos de switch Cisco podem ser gerenciados usando o portal Siemens TIA.
Outro exemplo de um padrão da indústria que geralmente é necessário para oferecer suporte é o Time-Sensitive Networking (TSN). É um conjunto de padrões Ethernet que permite a entrega de frames Ethernet com um atraso previsível e constante ao longo do tempo. A Ethernet familiar, deixe-me lembrá-lo, funciona de forma assíncrona e os quadros nela chegam ao destinatário "o mais rápido possível". A funcionalidade do protocolo TSN é compatível com os switches Cisco IE3400, IE4000, IE4010 e IE5000.
Como proteger uma rede industrial?
Muitos padrões e recomendações para a construção de redes industriais prevêem a implementação de uma zona desmilitarizada DMZ entre redes industriais e de escritórios. Nesta área, as estações de trabalho podem ser localizadas para acesso remoto aos componentes industriais. Há uma série de recomendações para a construção de tal DMZ, por exemplo:
• o tráfego não deve passar entre o escritório e as redes industriais;
• qualquer protocolo permitido entre a DMZ e o segmento industrial deve ser expressamente proibido entre a DMZ e o segmento de escritórios;
• o segmento industrial da rede não deve ter acesso da Internet, mesmo através de firewall;
• E, claro, nenhum "Qualquer" nos campos de endereços IP, portas e protocolos nas políticas de firewall.
O ideal é que o DMZ seja organizado de forma que, se estiver fisicamente desconectado da rede, o segmento industrial continue funcionando.
Os segmentos industrial, de escritório e DMZ são separados uns dos outros por firewalls. Aqui, a Cisco tem uma vantagem clara - você pode construir uma rede segura interna e externamente em seus produtos.
Os firewalls Cisco são capazes de reconhecer não apenas protocolos de rede industrial:
mas também dispositivos industriais conectados à rede:
E também detectar, permitir ou proibir ações específicas dentro destes protocolos:
Isso permite que você crie políticas de firewall não apenas com base em endereços IP e portas TCP / UDP, mas também com base nos nomes de modelos de dispositivos específicos e protocolos de comunicação entre eles. Para a maioria das situações, o firewall possui regras predefinidas que você pode usar com seus próprios parâmetros. Essas regras podem proteger não apenas de ataques deliberados, mas também "do tolo" - comandos enviados por engano para dispositivos industriais.
Os firewalls fornecem a chamada macro-segmentação da rede - divisão em grandes seções, o tráfego entre as quais é proibido ou filtrado por regras de firewall. Assim, não só se separam os segmentos DMZ, industrial e rede de escritórios, mas também, por exemplo, diferentes oficinas e linhas de produção do segmento industrial. Para a última tarefa, o firewall Cisco Industrial Security Appliance (ISA) pode ser útil - um firewall industrial completo.
Como fornecer acesso remoto adequadamente?
Como regra, em redes industriais, é necessário fornecer acesso remoto para organizações que prestam serviços de manutenção a equipamentos ICS. Ao mesmo tempo, é importante controlar bem quem e onde esse acesso é fornecido e proteger contra o acesso não autorizado. O acesso remoto é realizado através do DMZ descrito acima.
Aqui, além dos firewalls Cisco Firepower, o Cisco Identity Services Engine pode ser de grande ajuda. Firewalls fornecem conexão usando AnyConnect VPN ou proxy de tráfego de desktop remoto, e o ISE permite que você identifique claramente a pessoa que obtém acesso e o objeto na rede ao qual este acesso é fornecido, bem como definir políticas para tal acesso na forma de um tipo de matriz:
Além disso, o Cisco Firewall Intrusion Prevention System pode detectar e bloquear ataques de protocolo industrial. Estamos falando aqui não só de uma situação em que um especialista do fabricante realiza alguma ação maliciosa na rede do cliente, mas também do fato de o computador do especialista do fabricante e o servidor de acesso remoto que ele usa estar infectado com um vírus que tenta abrir o acesso não autorizado a terceiros - intrusos.
Como cumprir os requisitos regulamentares?
Os padrões internacionais e os documentos do Cisco Validated Design fornecem apenas recomendações "o que é melhor". Mas, além das recomendações, existem também as exigências dos órgãos reguladores que devem ser atendidas na construção de redes industriais. Na Rússia, isso inclui a Ordem nº 239 do FSTEC "Sobre a aprovação de requisitos para garantir a segurança de objetos significativos de infraestrutura de informação crítica da Federação Russa" Ele contém uma lista de soluções arquitetônicas para a funcionalidade que deve ser implementada.
Alguns dos requisitos do pedido, como a presença de firewall e IPS atualizado no perímetro do segmento industrial, segmentação de rede, organização de DMZ, são fechados pelos firewalls Cisco Firepower descritos acima. Requisitos de autenticação e autorização - Cisco ISE. Além disso, todo um conjunto de requisitos relacionados ao monitoramento da rede industrial é coberto pela solução Cisco CyberVision.
A solução Cisco CyberVision pode coletar dados da rede industrial na forma de tráfego SPAN ou de sensores especiais em dispositivos de rede e apresentar uma imagem do que está acontecendo ao administrador, bem como enviar as informações necessárias para sistemas de gerenciamento de configuração e SIEM. O administrador da rede pode obter uma lista completa de dispositivos conectados ao segmento de rede industrial (não apenas switches Ethernet, mas também dispositivos de automação industrial), verificá-los quanto a vulnerabilidades conhecidas e rastrear seu comportamento.
Figura 4. Um exemplo de exibição de vulnerabilidades conhecidas para dispositivos industriais
Discutiremos o tópico de redes industriais com fio em mais detalhes no webinar em 22 de junho. Se você quiser se inscrever, você pode se inscrever aqui