Detectar o estado dos semáforos em passagens de nível para corrigir infrações de trânsito

Recentemente, nos deparamos com uma tarefa interessante e aparentemente simples, mas ambígua de detectar os estados dos semáforos ferroviários para corrigir as infrações de trânsito. O problema acabou sendo que a conexão com a automação ferroviária é um procedimento complexo que requer muitas aprovações, e a instalação dos cabos correspondentes requer custos de capital. Uma alternativa é detectar o estado de um semáforo de uma câmera CFTV e registrar o fato das infrações de tráfego de acordo com os dados da câmera.



Tendo previamente estabelecido uma meta e acordado um plano para testar o complexo de software e hardware para detectar violações de tráfego em cruzamentos de ferrovia regulamentados, escolhemos o Centro de Engenharia da Ferrovia Oktyabrskaya como um objeto para teste. Um modelo em escala real de um cruzamento ferroviário foi implementado lá, no qual uma câmera e um complexo para consertar violações foram instalados:







Depuração e teste de análise de vídeo com semáforos acesos no layout



Objetivos:

• detectar o estado de um semáforo em um cruzamento no campo de visão da câmera
• fixação de passagens de veículos na travessia com reconhecimento e registro de números em semáforo vermelho

A composição do complexo de hardware e software usado:

1. Câmera IP, 2 MP
2. PC Industrial Outdoor Box Micro, 2 GB de RAM, CPU Intel Atom x5, VPU Movidius
3. Interruptor
4. Software EDGE para detecção e reconhecimento de matrículas estaduais de veículos

Algoritmo de detecção do estado do semáforo:

1. Recebendo um stream RTSP de uma câmera
2. Cortando um fluxo em quadros
3. Enquadrar a área de detecção do status das lâmpadas de sinalização
4. Obtendo o valor de brilho para cada lâmpada em N-frames / segundos
5. Binarização de valores de brilho por limiar
6. Verificar o funcionamento das lâmpadas em antifase ao longo de todo o intervalo analisado de N-frames / segundos
7. Retorno do estado do semáforo com um atraso em tempo real em N-frames / segundos

Antes da binarização, a verificação se as lâmpadas estão em antifase fica assim:







Após a binarização:



0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1 0 0 0 0 1 1 1 1

1 1 1 1 0 0 0 0 1 1 1 0 0 0 0 0 0 1 1 1 1 0 0 0 0



Demonstração da operação do detector:



Detectando o estado de um semáforo ferroviário usando análise de vídeo de objeto.



Problemas que encontramos durante a implementação:

1. Você não pode simplesmente detectar o valor da cor ou a quantidade de vermelho na área, porque à noite a câmera liga a iluminação IV e a imagem fica em preto e branco.
2. Mesmo ao medir o valor do brilho, você não pode usar dados de apenas uma lâmpada, pois piscar, por exemplo, por sinais de parada de emergência de um veículo ou um indicador de direção, fixará o reflexo na lâmpada e uma mudança suave no brilho para cima e para baixo. É claro que é possível estar vinculado ao comprimento de onda, mas isso não nega a simples possibilidade de influenciar remotamente o estado do semáforo de fora.
3. Às vezes, os semáforos funcionam de forma imprevisível e você precisa minimizar as emissões aleatórias após a binarização, por exemplo, uma situação é aceitável quando duas lâmpadas são acesas em vermelho ao mesmo tempo ou os valores de brilho mudam gradativamente com uma constante, mas menos atenuação.

Expectativa e realidade na obra dos semáforos ferroviários



Vantagens da solução:

1. Falta de custos de capital e aprovações para a colocação de rotas de cabos
2. Não há necessidade de integração com automação ferroviária
3. Disponibilidade da possibilidade de start-up rápido em campo (instalação de câmeras, marcação de zonas, operação industrial)
4. Disponibilidade da possibilidade de pós-processamento de dados no arquivo de vídeo
5. Estabilidade de operação em diferentes momentos do dia (ao comparar medições de mudanças no brilho ao longo de um período e detecção de cor)