De acordo com a pesquisa 2021 SANS Cyber Threat Intelligence (CTI) , 66,3% das empresas usam fontes abertas para coletar indicadores de comprometimento e tentam trabalhar com várias fontes ao mesmo tempo. Parece que coletar indicadores de fontes abertas é uma tarefa bastante simples: você só precisa baixar um arquivo txt ou csv de algum site e pronto. Na realidade, muitos problemas podem ser encontrados ao longo do caminho. Neste artigo, vamos dizer quais são essas dificuldades, de que depende a estrutura e o formato do feed, quais métricas ajudam a avaliar a utilidade dos feeds e também mostrar com um exemplo real o que você pode aprender com o feed. Para maior objetividade, preparamos este artigo junto com Kolya Arefiev da RST Cloud ,atua na agregação, enriquecimento, limpeza e classificação de indicadores publicados por pesquisadores independentes de segurança da informação.
Quais são as armadilhas da TI de código aberto
Vamos fazer uma reserva agora: não será possível contornar os problemas ao trabalhar com indicadores de fontes abertas. A primeira vez que você carrega esses indicadores nas ferramentas de proteção, receberá milhares de respostas por dia. Sem desmontar os primeiros 100 resultados, você provavelmente vai cuspir neste negócio e apenas desligar o feed.
Vamos tentar descrever os principais problemas que precisam ser resolvidos ao coletar indicadores de fontes abertas:
Seleção de fontes
Você não deve perseguir o número de indicadores na fonte e escolher aqueles com mais indicadores. Faça uma verificação pontual de alguns dos indicadores do feed, avalie-os em termos do número de falsos positivos.
Compreender a estrutura do seu feed
, . , , : , (, , , , ?). , , IP, , url hash . 2C, , url, .
, ? ? , ? ?
, , . , , . ? , , ?
, , . 4 , , . « » , .
127.0.0.1, microsoft.com SHA256 calc.exe — . , .
- . , , ASN, Whois, Geo-, , .. , , , .
, . , IT , , . RST Cloud IoC, 365 .
: « »
, . , , , .
, , . , « ».
« », 2013 David J Bianco.
. , , txt- csv-. - .
, :
812 | ROGERS-COMMUNICATIONS | 99.250.237.110 | 2021-04-05 04:46:22
852 | ASN852 | 66.183.170.4 | 2021-04-05 02:50:15
1101 | IP-EEND-AS Surfnet B.V. | 192.42.116.13 | 2021-03-31 19:52:48
1101 | IP-EEND-AS Surfnet B.V. | 192.42.116.14 | 2021-04-03 14:50:55
1101 | IP-EEND-AS Surfnet B.V. | 192.42.116.16 | 2021-04-05 09:45:03
1101 | IP-EEND-AS Surfnet B.V. | 192.42.116.17 | 2021-04-04 18:13:59
:
Family,URL,IP,FirstSeen
Pony,http[:]//officeman[.]tk/admin.php,207[.]180.230.128,01-06-2020
Pony,http[:]//learn[.]cloudience[.]com/admin.php,192[.]145.234.108,01-06-2020
Pony,http://vman23[.]com/admin.php,95.213.204.53,01-06-2020
. , . , , (TTP) APT.
, , json, yaml, xml - , . , STIX 2, .
, . , json — 1 3 . , , , . .
:
, , , RST Cloud.
json :
{
"id": "572f891c-dd92-31d3-a2e7-c448a4b72b22",
"title": "RST Threat feed. IOC: defender5.coachwithak.com",
"description": "IOC with tags: c2. Related threats: silverfish_group",
"threat": ["silverfish_group"],
"domain": "defender5.coachwithak.com",
"fseen": 1616630400,
"lseen": 1617408000,
"collect": 1617494400,
"tags": ["c2"],
"resolved": {
"ip": {
"a": ["37.48.84.156"],
"cname": []
},
"whois": {
"created": "2019-07-31 20:36:52",
"updated": "2020-08-01 10:58:42",
"expires": "2021-07-31 20:36:52",
"age": 608,
"registrar": "GoDaddycom LLC",
"registrant": "unknown",
"havedata": "true"
}
},
"score": {
"total": 55,
"src": 73.75,
"tags": 0.89,
"frequency": 0.85
},
"fp": {
"alarm": "false",
"descr": ""
}
}
, :
GUID .
— TI- , .
.
-
— . (C2C).
IP-, , — , IP DNS-.
Whois- — TI- , . -«», , . APT- C2C- .
— . , 70 50, .
, . TI- , . : , .
, (False-Positive), . false, , .
?
threat intelligence — , , , , . , . , , , .
-? , — , , . , . ?
, «» , , , .
, , , :
( ) , :
? , , , .
CIRCL.lu. , . , ?
3 157 852 . , .
CIRCL , . ? , , . EDR-, netflow :
, . , , , : (CVE). TI : , .
. , ( ). , TI . : , .
— , . , TI . :
. . , , : .
, , — . : ( ) . :
, , . , . , , - , . — , , .
. , CIRCL 1% 2% c digitalside botvrj , botvrj — 30% 1% c CIRCL digitalside ( , botvrj CIRCL - ).
OTX - Project TajMahal IBM X-Force Project TajMahal. , .
, - , . , , , . , TI. , Youtube- « » .
: , R-Vision Threat Intelligence Platform,
, RST Cloud