Scopriamo le novità di Confluent 4.0!

Finalmente è disponibile Confluent Platform 4.0, la distribuzione enterprise di Apache Kafka 1.0. Questa release include una serie di miglioramenti significativi, tra cui i miglioramenti del Confluent Control Center, Kafka Connect, l’API Streams e, naturalmente, Apache Kafka 1.0.

 

 

Diamo innanzitutto un’occhiata alle principali caratteristiche delle versioni precedenti:

• Versione 1.0: prima release della piattaforma, con  particolare attenzione a Schema Registry e supporto REST,
• Versione 2.0:  aggiunte funzioni di sicurezza, un migliore supporto clienti e i primi connettori Kafka Connect.
• Versione 3.0: integrato il supporto per API Streams e altri miglioramenti.

Sono stati apportati sostanziali miglioramenti allo strumento di gestione e monitoraggio (Control Center), che al momento è in grado di sostenere con facilità cluster di grandi dimensioni. Il software è stato testato con cluster contenenti fino a un milione di partizioni, ben oltre quello che la maggior parte degli operatori in produzione sono in grado di gestire. Ulteriori semplici ma efficaci miglioramenti sono stati inoltre apportati nella UI, come una barra di notifica visivamente alta che comunica la disponibilità del cluster. Sono stati poi corretti i bug identificati nel rilascio precedente.

Vediamo i miglioramenti nel dettaglio:

Control center

• Il pannello di gestione è ora in grado di monitorare cluster significativamente più grandi rispetto alle precedenti release. Confluent può infatti monitorare con successo cluster con 1 milione di partizioni, rispetto alle 30.000 delle versioni precedenti.
• È stata introdotta nella UI una barra di notifica allo scopo di notificare lo stato del cluster attualmente in uso
• Miglioramento della stabilità, gestione dei client ed eventi mal configurati
• Miglioramento generale della UI grazie a un approfondito restyling

Retrocompatibilità

La versione 4.0.0 di Confluent Control Center è retrocompatibile e completamente testata con le versioni di Confluent Platform 3.2.0 e successive e Apache Kafka rilascia 0.10.2.0 e successive. Si consiglia di installare e utilizzare Control Center prima di aggiornare Apache Kafka, in modo da poter utilizzare Control Center per monitorare la salute dei broker e la disponibilità delle applicazioni durante l’ esecuzione dell’ aggiornamento continuo del sistema.

Schema Registry ACL Plug-In

È stato aggiunto al Registro di sistema un modulo di sicurezza che fornisce l’autenticazione e l’autorizzazione delle operazioni di Schema Registry.

JMS Client

• Le intestazioni dei messaggi JMS e le relative proprietà sono ora memorizzate negli header dei messaggi Kafka.
• I messaggi non sono più codificati in formato Avro e la dipendenza dal Registro di sistema è stata rimossa.
• La proprietà di configurazione group.id viene rimossa e sostituita dalla proprietà opzionale consumer. group. id. Per impostazione predefinita, il group. id dell’ istanza consumer Kafka sottostante viene ora impostato automaticamente in base al tipo di destinazione
• Implementazione della modalità Session CLIENT_ACKNOWLEDGE
• Implementazione delle classi KafkaQueConnection, KafkaTopicConnection e le funzionalità associate

Kafka Connect

I miglioramenti hanno riguardato anche Kafka Connect, con l’aggiunta di nuove metriche per migliorare lo stato e l’ attività dei connettori, dei task e degli worker. Ogni task dei connettori utilizza un convertitore separato, dando più spazio all’ottimizzazione delle prestazioni. L’isolamento del classloader permette ora a ciascun connettore di trovare il proprio driver JDBC, quando il driver è incluso nella distribuzione del connettore..

Connettori

• Connettore Elasticsearch: il connettore Elasticsearch è ora in grado di inviare messaggi non validi quando necessario
• Connettore HDFS: Il connettore HDFS allinea le partizionatrici e i formattatori con il connettore S3. In particolare, i partizionatori timestamp sono più performanti e possono estrarre il timestamp dai record piuttosto che usare il wallclock. Inoltre, il formattatore JSON può ora essere utilizzato con il connettore HDFS
• Connettore S3: Il connettore S3 è ora in grado di utilizzare proxy S3, che può scrivere record utilizzando l’header ACL in dotazione e reinizializzare i caricamenti di parti quando necessario. Un nuovo formattatore ByteArrayFormat rende molto facile memorizzare la forma binaria dei record in S3

API Streams

La gestione dei record danneggiati o mal formattati è uno scenario comune nell’ elaborazione in streaming. Ora è possibile personalizzare la logica di gestione degli errori delle proprie applicazioni. Ad esempio, le applicazioni possono ora decidere se saltare i record danneggiati. Nelle versioni precedenti, i record danneggiati hanno innescato eccezioni di deserializzazione che causerebbero sempre il fallimento delle istanze applicative e la loro chiusura.