kafka入門，1分鐘玩轉Kafka

說起Kafka，許多使用者對它是又愛又恨。Kafka是一種分布式的、基于發布/訂閱的消息系統，其極致體驗讓人欲罷不能，但操心的運維、復雜的安全策略、可靠性易用性的缺失、算不上極致的性能發揮、并不豐富的消息服務功能，仍需要使用者付出諸多的背后工作。即使你是Kafka老手，也難免會有上述同樣的煩惱。

目前國內主流的云服務廠商均提供了云上的Kafka服務，為應用系統提供異步的消息隊列服務。通過高可用的消息緩沖隊列，實現應用解耦、突發流量處理及與第三方的互通和集成，具有大規模、高可靠、高并發訪問、可擴展且完全托管的特點。比如分布式消息隊列DMS，幫助云端的應用程序組件去耦合，具有很高的成本效益。分布式消息隊列DMS擁抱開源，提供支持兼容開源Kafka接口，用戶可無縫遷移，按需使用。

kafka入門？分布式消息隊列DMS優勢

全面兼容Kafka 提升效率

兼容開源
業務系統基于開源的Kafka進行開發，只需加入少量認證安全配置，即可使用DMS的Kafka隊列，做到無縫遷移。

kafka怎么用，消息互通
支持消息多通道，分布式消息隊列DMS接口可對Kafka隊列進行消息收發，也可用開源Kafka client進行消息收發。

安全保證
獨有的安全加固體系，提供業務操作可回溯，消息存儲加密及租戶間有效隔離等有效安全措施。

高可靠及可用無憂運維

kafka入門教程，數據高可靠
消息持久化，多副本存儲。

服務高可用
后臺多集群部署，支持故障自動遷移和容錯，保證用戶關鍵業務的可靠運行。

無憂運維
提供一整套完整的監控告警等運維服務，故障自動發現和告警，避免7*24小時人工值守。

核心特性

細粒度靈活控制
分布式消息隊列DMS支持RBAC(基于角色訪問控制)和PBAC(基于策略訪問控制)兩種訪問控制模式，從而提供更加安全靈活的訪問策略。可以實現消息隊列粒度和API調用動作的安全策略訪問控制，結合華為云的IAM服務，可以滿足用戶幾乎所有對消息服務使用的安全要求。

多協議的訪問
分布式消息隊列DMS提供多種協議接入方式，包括1）HTTP 符合REST規范標準的接入，支持多種語言接入使用，并支持云內及云外訪問。2）基于TCP的簡單SDK方式，提供更加高性能的訪問接口；另外，還提供兼容開源Kafka的開放接口，能夠更好地幫助用戶把使用Kafka的應用快速上云。

分布式可靠集群和海量隊列能力
內建的分布式集群技術，使得服務具有高度擴展性；無限擴展的隊列數量和可擴展的高性能機制，保證在高并發、高性能和大規模場景下的訪問能力，輕松實現百億級消息的堆積和訪問能力。內建消息冗余存儲，保證消息存儲的可靠性，有效避免服務節點故障。

死信管理
死信是在消費環節為用戶提供一種不能正常處理消息時的可選方案，防止因個別消息不正常導致后續消息都不能被消費，造成業務阻塞。DMS為用戶提供可視化死信開關和參數配置，并提供API接口。在不開啟死信隊列功能時，對于確認失敗或超時的消息，系統會進行回滾并重投遞。無論是否開啟死信功能，分布式消息隊列DMS服務都會保證消息不丟失。

自定義消息功能
分布式消息隊列DMS除提供消息隊列的核心功能外，還提供額外的增強能力，為用戶提供高收益、低成本的極具性價比的消息服務。消息消費重置允許用戶設置任一可消費的時間點控制向前或向后消費進度，提高消費的靈活性；基于消息標簽的消息過濾可實現選擇性地消費包含指定標簽的消息；支持消息屬性，每條消息上都可以設置不同的屬性。

無憂運維
消息服務是云原生服務，整個消息服務的運維對用戶透明。用戶無需關心后臺運維情況，只需關注自身涉及的消息隊列指標，支持對入隊消息數、請求數、已經消費的消息數、消息堆積數量等情況的監控，并支持配置告警規則，用戶可以在第一時間通過短信、郵件等獲得業務消息隊列的運行使用和負載狀態。

適用場景

業務解耦
將業務中依賴其他系統同時屬于非核心或不重要的部分使用消息服務，無需同步等待其他系統的處理結果。如電商網站獲取用戶訂單后，信息放入消息隊列，會從隊列里讀取出庫、發貨任務信息然后執行。

最終一致性
用于兩個系統的狀態最終保持一致，或都成功或都失敗。如用于交易系統的高可靠數據傳遞，實現跨系統的事務最終一致，降低實現難度和成本；如預定門票及軟件打車。

錯峰流控
上下游系統處理能力有差異時，可以使用消息服務轉儲系統之間的通信數據，提供消息堆積緩沖能力，在下游系統有能力處理消息的時候再處理，減少擁塞、系統崩潰等問題，提高系統的可用性，降低復雜性。如高峰時段的注冊、搶購、預約等。

日志同步
應用通過可靠異步方式將日志消息同步到消息服務，再通過其他組件對日志做實時或離線分析,也可用于關鍵日志信息收集，進行應用監控。如注冊時用戶填寫的個人信息等。

一分鐘玩轉Kafka，就是這么簡單~