Outra atualização EAP 11 acaba de ser lançada para um plugin chamado Big Data Tools, disponível para instalação no IntelliJ IDEA Ultimate, PyCharm e DataGrip. Você pode instalá-lo por meio da página do plugin no site ou dentro do IDE.
Big Data Tools é um plugin que permite que você se conecte a clusters Hadoop e Spark. Ele fornece monitoramento de nós, aplicativos e tarefas individuais. Além disso, os cadernos Zeppelin podem ser criados, executados e editados no IDEA e DataGrip. Você não precisa mudar para a interface da web do Zeppelin e trabalhar pacificamente sem sair do seu IDE favorito. O plugin permite que você navegue convenientemente pelo código, faça complementação inteligente, refatorações e correções rápidas dentro do laptop.
Novo tipo de configuração de lançamento para envio de faísca
— Spark- IDE, . IDE, PyCharm. , spark-submit
bin
Spark . : - . .
spark-submit
, . , SSH, spark-submit
. bash- , . , , - .
Big Data Tools , . run configuration, spark-submit
, SSH, - . .
Apache Zeppelin DataGrip
Zeppelin DataGrip. DataGrip , - . , SQL .
, SQL. , Matplotlib Scala DataGrip .
- Spark-submit IntelliJ IDEA, DataGrip PyCharm (BDIDE-843).
- Apache Zeppelin DataGrip (BDIDE-1045).
- Zeppelin (BDIDE-906).
- Spark Monitoring (BDIDE-1159).
- Zeppelin (BDIDE-1172).
- Zeppelin: , (, HTML Zeppelin) (BDIDE-1132).
- Zeppelin: – IntelliJ IDEA 2020.1 Zeppelin, (BDIDE-1184).
- Zeppelin: – , /api/version (BRIDE-1199).
- Zeppelin: – (BDIDE-1171).
- Zeppelin: – Structure Zeppelin (BDIDE-1135).
- Zeppelin: Fixed – IDEA , (BDIDE-1208).
- Zeppelin: – "Open in browser" (BDIDE-1142).
- Zeppelin: – (BDIDE-1129).
- Spark Monitoring: – JSON, Storages, (BDIDE-1162).
- Remote FS: – Azure (BDIDE-1141).
- Remote FS: – (BDIDE-1192).
- Remote FS: – (BDIDE-1202).
- General: – (BDIDE-1195).
- HTTP Proxy: – Spark Hadoop SOCKS proxy (BDIDE-1209).
- HTTP Proxy: – SCOKS proxy (BDIDE-1215).
- HTTP Proxy: – (BDIDE-1216).
, Big Data Tools, . , Twitter.
, , , .
Big Data Tools