中國(guó)IDC圈5月30日?qǐng)?bào)道,Amazon最近公布了旗下Amazon Kinesis Service的更新。在此次更新中,Amazon Kinesis Streams和Amazon Kinesis Firehose服務(wù)增加了三個(gè)新功能,包括支持Elasticsearch Service Integration(Elasticsearch服務(wù)集成)、Shard-Level Metrics(Shard級(jí)度量指標(biāo)),以及Time-Based Iterators(基于時(shí)間的迭代器)。
Amazon Elasticsearch服務(wù)集成
Kinesis Firehose與Amazon Elasticsearch的集成使得開(kāi)發(fā)者能夠?qū)?shù)據(jù)從Amazon Kinesis Firehose交付流(Delivery stream)移動(dòng)至Amazon Elasticsearch服務(wù)群集。
隨著數(shù)據(jù)進(jìn)入Kinesis Firehose交付流,將根據(jù)配置進(jìn)行緩沖,隨后通過(guò)批量插入的方式將其存入Elasticsearch服務(wù)。這些交付流還可以通過(guò)AWS管理控制臺(tái)進(jìn)行壓縮和加密。
這種集成的使用場(chǎng)景包括服務(wù)器日志的索引和分析,點(diǎn)擊流和社交媒體流量等。AWS產(chǎn)品戰(zhàn)略總經(jīng)理Matt Wood表示,這個(gè)新功能“非常適合日志分析和應(yīng)用程序監(jiān)視”。
一旦將數(shù)據(jù)發(fā)布至Elasticsearch,隨后即可使用諸如Kibana等工具對(duì)其進(jìn)行分析和可視化。
Shard級(jí)度量指標(biāo)
一個(gè)Kinesis Stream可包含一個(gè)或多個(gè)Shard。Kinesis Stream中的Shard代表讀寫能力。每個(gè)Shard可提供1MB/秒數(shù)據(jù)輸入和2MB/秒數(shù)據(jù)輸出。Shard將按照使用小時(shí)數(shù)收費(fèi),每秒鐘最多可處理1000條記錄。
新提供的Shard級(jí)度量指標(biāo)可供用戶了解Kinesis Stream中每個(gè)Shard性能的詳細(xì)信息??偟膩?lái)說(shuō),目前共有6個(gè)可用度量指標(biāo),每個(gè)指標(biāo)的狀態(tài)每分鐘更新一次。這些度量指標(biāo)將按照CloudWatch每個(gè)指標(biāo)的定價(jià)模型進(jìn)行收費(fèi)。
Amazon已經(jīng)公布了目前Kinesis Streams可用的每個(gè)度量指標(biāo)的詳細(xì)信息:
IncomingBytes – 已經(jīng)成功PUT至Shard的字節(jié)數(shù)量。 IncomingRecords – 已經(jīng)成功PUT至Shard的記錄的數(shù)量。 IteratorAgeMilliseconds – 針對(duì)一個(gè)Shard調(diào)用GetRecords所返回的最后一條記錄的壽命(以毫秒計(jì))。值為“0”意味著目前正在讀取的記錄已經(jīng)完全趕上了流的速度。 OutgoingBytes – 從Shard獲得的字節(jié)數(shù)量。 OutgoingRecords – 從Shard獲得的記錄數(shù)量。 ReadProvisionedThroughputExceeded -通過(guò)GetRecords獲取的超過(guò)每秒5次讀取或每秒2MB數(shù)據(jù)的限制的Shard數(shù)量。