Apache Kafka

Apache Kafki jest podobny do silnika Facebooka Scribe (jeśli znasz do niego) i mogą być wykorzystane do obsługi strumieni działalności.

To działa, pozwalając programistom na utrzymanie jednego lub więcej strumieni aktywności (lub kanały).

Kanały te mogą być organizowane w tematach, a następnie transmitowane (opublikowany) do wszystkich subskrybowanych konsumentów.

Części Kafki, które zarządzają i publikują kanały są nazywane producentów.

Kafka jest w zasadzie warstwa środkowa między producentami i konsumentami, skomplikowany system, który może obsługiwać każdy rodzaj ruchu i wnioski na wszelkiego rodzaju skali.

To dlatego, że Kafka został zbudowany do obsługi rozproszonych architektur serwerowych, pozwalając programistom na skalowanie systemów Pub / sub na usługi w chmurze.

Co nowego to wydanie:.

• Nowy producent Java na łatwość wdrożenia i zwiększenia wydajności
• Usuń wsparcie temat.
• Na konfiguracji tematu preferencji dla spójności na dostępności.
• Scala 2.11 wsparcie i poparcie spada do Scala 2.8.
• kompresji LZ4.

Co nowego w wersji 0.8.2.1:

• A~~HEAD=pobj nowego producenta Java dla łatwości wdrożenia i wzmocnione wydajność.
• Usuń wsparcie temat.
• Na konfiguracji tematu preferencji dla spójności na dostępności.
• Scala 2.11 wsparcie i poparcie spada do Scala 2.8.
• kompresji LZ4.

Co nowego w wersji 0.8.0-beta1:.

• Poprawiono istniejące narzędzia Perf
• Drut istniejących producentów i konsumentów do korzystania z nowej struktury danych ZK.
• Utwórz / usuń ścieżkę ZK na temat w narzędzia administratora.
• Wdrożone osadzony kontroler.

Co nowego w wersji 0.7.1:

• uniknięcia podwajania wiadomość podczas równoważenia konsumentów
• Wsparcie konfiguracji wysyłania / odbierania rozmiar bufora gniazda na serwerze
• javaapi ZookeeperConsumerConnectorTest powiela wiele testów w wersji scala
• # o przywrócenie równowagi konsumenta ponawia konfigurowalny
• SyncProducer należy zalogować hosta i port, jeśli nie można się połączyć.
• Zmniejszenie duplikatów wiadomości podawane przez konsumenta kafka dla nieskompresowanych tematy
• Unikaj logowania stosu wywołań bezpośrednio
• czas odczekania podczas równoważenia konsumentów konfigurowalny
• Pomóż log4j appender do korzystania kafka.producer.Producer i wsparcie zk.connect | Opcje broker.list
• wydzielić Kafka dublowanie do samodzielnej aplikacji
• producent oprogramowania Hadoop należy użyć równoważenia obciążenia

Co nowego w wersji 0.7.0:

• Kafka obsługuje kompresję blokowych. Zobacz wiki kompresji szczegóły. Obecnie tylko gzip jest sup przeniesiony.
• Zaloguj zachowanie może teraz zależeć od miejsca (log.retention.size).

Co nowego w wersji 0.6:

• Poprawiono błędy:
• SimpleProducer stracić wiadomości, gdy gniazdo dostaje io wyjątek
• Jeśli producent wysyła nieprawidłowy MessageSet broker go dołączyć, zgorszenie dziennik
• ByteBufferMessageSet rejestruje błąd o sprowadzić rozmiaru
• Shutdown Kafka, gdy jest jakiś błąd dysku IO
• Propagowanie serwer wszystkie wyjątki konsumenta
• close () w SimpleConsumer powinny być zsynchronizowane,
• Dokumentacja Kod Konsumentów
• Pomóż Podprogram w AsyncProducer
• Producent zookeeper oparty nie usuwa martwe brokera z listy podczas wysyłania żądania produce
• Dzienniki konsumpcyjne błąd podczas blisko
• Usprawnienia:
• Clean-up Test jUnit
• MessageSet nie realizuje Java iterable
• Default Encoder Kafki log4 appender
• Jawnie wymienić wszystkie wątki
• Refactor API publicznego w java i Scala API
• Pomóż dokumentacji API dla wszystkich interfejsów API publicznych
• Usuń Java API FileMessageSet
• Test Jednostka nie działać na niektórych komputerach z systemem Linux,
• Tworzenie SBT projektów sub dla perf, przykłady, contrib, które są aktualnie przy użyciu Ant
• Dodaj JMX do zmiany poziomu log4j dynamicznie w serwerze Kafki
• Aktualizacja do Heca 3.3.3
• javaapi MessageSet nie musi wdrożyć gniazdo writeTo
• Nowe funkcje:
• Nowy producent API