Clever Geek Handbook

Ferramentas de Big Data EAP 10: Túneis SSH, filtragem de aplicativos, módulos personalizados e muito mais

Uma nova versão do plugin Big Data Tools acaba de ser lançada - um plugin para IntelliJ IDEA Ultimate, DataGrip e PyCharm que fornece integração com Hadoop e Spark, permite editar e executar cadernos interativos no Zeppelin.



O objetivo principal desta versão é corrigir o máximo de problemas possível e melhorar o plug-in por dentro, mas duas melhorias importantes são visíveis a olho nu:



  • A conexão com Hadoop e Spark agora é possível por meio de túneis SSH, criados por alguns cliques do mouse;
  • O monitoramento do Hadoop pode limitar a quantidade de dados carregados ao visualizar a lista de aplicativos.




Túneis SSH



Freqüentemente, o servidor de que precisamos não pode ser acessado diretamente, por exemplo, se estiver localizado dentro de um circuito corporativo protegido ou fechado por regras especiais no firewall. Para entrar, você pode usar algum tipo de túnel ou VPN. O mais simples dos túneis, que está sempre à mão, é o SSH.



Você pode criar um túnel com um único comando de console:



ssh -f -N -L 1005:127.0.0.1:8080 user@spark.server


Um arquivo ajudará a automatizar um pouco o processo ~/.ssh/config, no qual você salva os parâmetros de conexão uma vez e depois usa:



Host spark
    HostName spark.server
    IdentityFile ~/.ssh/spark.server.key
    LocalForward 1005 127.0.0.1:8080
    User user


Agora basta escrever no console ssh -f -N spark- e o túnel sobe por si mesmo, sem inserir endereços IP. Convenientemente.



.



-, - . -f -N -L? , — ? ? , , .



-, , IDE. , , , IDE .



, Big Data Tools SSH-.





, , SSH.



Enable tunneling :



  • Zeppelin
  • HDFS
  • Hadoop
  • Spark Monitoring


, , SSH. : , , , .



, . - , SSH, VPN .



BDIDE-1063 YouTrack.





, Spark Monitoring , , .





, .



Big Data Tools , . , .



, .



BDIDE-1077.



Zeppelin



Zeppelin JAR-. Big Data Tools , IDE .



Zeppelin, Big Data Tools . , , . Big Data Tools , IntelliJ IDEA.



Maven JAR-. , -, .



. "User dependencies":





BDIDE-1087.





Big Data Tools — , . , . EAP 10 , Spark Monitoring.





More articles:


All Articles