Todos nós queremos estar atentos ao que está acontecendo, então passamos parte do nosso tempo lendo as notícias, e agora cada vez mais as notícias vêm não de sites de notícias ou jornais, mas de algum tipo de canal de telegrama. Como resultado, depois de algum tempo, você se inscreveu em uma dúzia (e talvez dezenas de canais) que constantemente escrevem algo - como resultado, uma grande quantidade de tempo é gasta em "não perder nada". Mas se você olhar para isso, a maioria deles escreve sobre uma coisa, apenas de forma diferente. Então surgiu a ideia de ensinar IA a selecionar as notícias que realmente importam. Claro, existem diferentes TOPs, como Yandex.News ou algo como os resultados do dia de algum meio de comunicação respeitado, mas há nuances em todos os lugares. Neste artigo, tentarei descrever essas nuances e o que fizemos e o que não fizemos.
Nuances e fontes
, – , , , - – , " ". , ., , – , . – , .
:
-,
, , - (-, , )
– , , 100 . 10 . ( ) – . - . ,
100 , "" . , – , , - , GQ, .. - , , - .
, , , , , .. , - . , . – , ( )... - . , – , "" ( , , - ). , - , , .
:
" ", –
"", – .. ""
"" – .. - ,
, , :
( )
– NLP NER – ,
- ""
– 3 , : , ( ), – . , , - .
"" NLP
NLP, BERT, . . - . – , MVP :
. , NLP , – , .. - , . , , .
, BERT – , , , .
, MVP BERT , 20 – ( ), , BERT - , .. , . , , , – , ( ).
:
Spacy, , :
NLP , : NER, , ,
( BERT)
- , , Spacy.
, , : Natasha-spacy, , . , - , , .
, – , . – : . – , , . , NER PER, LOC, ORG , "" "" , .. .
- , , .. CONLLU, . :
-. - NER. . , . , - . – « », , . , ( CONLLU), CONLLU. , , .
"" "" – . , regexp-, .
, "" "". - :
, ,
, .. , "" "" , " "
– - , , , , 3- –
. , , .
, " ". Facebook( themeduza, forbesrussia) , , ria.ru. – - . ! - , , , . ~ .
, "" "" , , , , , .
, – . " " , - .
– , , . 4-5 , , , , - "".
4 GB RAM, 2 vCPUs 8% CPU, . , airflow, ( - airflow " " 16 GB RAM, 4 vCPUs 32%). , . , DAG-, – .
" X", . :
( , , , )
, – NER , "" , ( )
"source": {
"id": 1115468824,
"username": "lentadnya",
"title": " ",
"participants": 47148
},
"text": "«, , »: . , ",
"views": 405,
"link": "https://t.me/lentadnya/16263",
"interesting": 0.12,
"reaction": {
"enjoyment": 0.04400996118783951,
"sadness": 0.0019097710028290749,
"disgust": 0.8650462031364441,
"anger": 0.08112426102161407,
"fear": 0.00790974497795105
},
"entities": [
"",
" ",
"",
""
],
"tags": [
"",
" ",
"",
""
]
, .
№1: "" , , . , – 3-4 , . .. , .. , . – .
№2: NER – . , , . . - 100 (, ) NER . 85%. . , BERT "" , - , -.
№3: , , , , , . . - "" . , "", . , ( ), NER " ". , , , . "" , - " " – . "" . , "" , , . .
Bem, quem leu até aqui, espero que seja interessante, mas como é o nosso top: https://t.me/mygenda .
Bem, como dizem os blogueiros de moda: inscreva-se, compartilhe comentários e faça perguntas. Espero que tenha sido interessante.