Certa vez, trabalhei como engenheiro de dados em uma startup. Ele cresceu rapidamente e em algum momento decidiu comprar uma grande empresa. Havia mais de cem funcionários lá - ao que parece, quase todos da Índia. Enquanto nossos desenvolvedores estavam mexendo em códigos exóticos que não podiam ser decifrados imediatamente, o departamento de monitoramento indiano chamou minha atenção.
Para monitorar a rede e os servidores, você pode usar diversos softwares. O principal é ter certeza: se algo der errado, um alerta funcionará. Você verá uma notificação e terá tempo para consertar tudo. Eles também tinham sua própria ideia de monitoramento. Imagine várias salas com mesas, cadeiras e enormes plasmas nas paredes, quase duas dezenas de pessoas sentadas lá dentro. Em cada monitor, gráficos multicoloridos são exibidos e pedaços de papel com números de telefone são colados ao lado deles.
A tarefa dessas vinte pessoas era sentar e olhar os gráficos e, se de repente a linha ficasse acima do adesivo colado ao lado, ligar para o número de telefone que estava escrito ali e soar o alarme. Aqui eles sentaram e assistiram sem parar.
A compra da empresa era barata, mas manter tal infraestrutura custava dinheiro exorbitante. Os índios usaram o caro Vertica, onde, além de pagar pelo hardware, também tiveram que desafivelar para uma licença. Decidimos tentar mudar para a ClickHouse. É praticamente um análogo gratuito do Vertica. Ambos os produtos funcionam em um princípio semelhante: DBMS colunar com fragmentação, com particionamento de dados.
E essa foi outra aventura.
Recurso matador do ClickHouse - é claro, economizando dinheiro
, . ClickHouse . ClickHouse, , (, PostgreSQL) .
ClickHouse , : DoubleDelta ! ClickHouse , MergeTree.
, , HDFS , ClickHouse 700 , . , «» SQL- - ClickHouse, , , .
— . , , ClickHouse «» . : TSBS , , — . — http- , Rest .
ClickHouse , , , , . , . — , , . .
, , , ?
, , , .
. -, , . , , , , . SDK . PHP JSON , MySQL. , — .
( ), . - Hadoop, HDFS . . : JSON-, Hive. .
Hive, , . JSON-. HDFS Hadoop - . . , , . ! , , — . . , , , Spark , . , , , , RDD .
, - - . HDFS , — .
, . , , , , Java, - . Scala, , !
ClickHouse. , C++. , , , . Scala, TCP, Native , .
— HDFS. Kafka, , Kafka ClickHouse. HDFS , : HDFS .
- ClickHouse. , , .
ClickHouse — ,
, ClickHouse production-ready , , , , DWH .
, , « » - Hive MySQL, ClickHouse – - , - JOIN - ..
, , , . , . , – , .
, . , , .
, UUID, :
```
SELECT * FROM db PREWHERE uuid != '00000000-0000-0000-0000-000000000000'
```
segfault.
. -! , GitHub, Issues, .
, ClickHouse
Hive , . Tabix. , ClickHouse . . Redash - ClickHouse.
Redshift. - ClickHouse Redshift (, , SQL ). — , Redshift, ClickHouse. , Redshift — 30 . ClickHouse Redash.
, ClickHouse Tableau 70 !
Tableau — . , ClickHouse . PostgreSQL. - , PostgreSQL . ClickHouse PostgreSQL Tableau! . PostgreSQL. .
. Tableau — , , SQL , . . 70 .
Tableau . , ClickHouse . . , Tableau - ClickHouse. !
Redash Tableau — . , ClickHouse — . , - , Tableau.
ClickHouse — . , . .
, , — . , , ClickHouse.
, - , . — Vertica Redshift .