폭풍마경 다운로드

Kafka 단순 소비자를 기반으로 하는 Kafka 버전 0.8/0.9에 대 한 전통적인 지원 외에도 Storm에는 새 Kafka 소비자 API를 기반으로 하는 Kafka 0.10에 대 한 지원이 포함 됩니다. Kafka 0.10 및 이후 버전과의 폭풍의 통합은 매우 유연 하 고 확장 가능 하며 일부 기능은 다음과 같습니다. Flux는 사용자가 Storm 토폴로지를 선언적으로 정의 하 고 구성 값을 하드 코딩 하지 않도록 하는 프레임 워크 및 유틸리티 집합입니다. 토폴로지 구성 요소. Storm 1.1.0은 플럭스 프레임 워크에 다음과 같은 향상 된 기능을 도입 합니다. 이전 버전의 Storm에서는 일반적으로 음영 처리 된 ”uber jar”에 모든 토폴로지 종속성을 포함 하거나 스톰의 클래스 경로에서 사용할 수 있도록 하 여 필요 했습니다. Storm 1.1.0에서 storm jar 명령에는 이제 토폴로지 제출 중에 추가 종속성 jar을 업로드 하는 옵션이 포함 되어 있습니다. –Jar 명령줄 옵션을 사용 하면 사용자가 업로드할 로컬 jar 파일을 지정할 수 있습니다. 또는 storm jar 명령은 Maven 좌표로 추가 jar 파일 종속성을 지정 하기 위한–아티팩트 옵션을 제공 합니다. 마지막으로 Maven 중앙 외부의 Maven 아티팩트에 대해서는 사용자가 종속성 확인을 위한 추가 리포지토리를 지정할 수 있습니다. Storm의 HDFS 통합에는 이제 HDFS 파일 시스템의 데이터를 지속적으로 스트리밍하는 배출구가 포함 되어 있습니다. Storm의 HDFS 주 둥이는 구성 가능한 디렉터리를 모니터링 하 여 새 파일을 만들고 해당 데이터를 토폴로지에 공급 합니다. 배출구가 파일 처리를 완료 하면 구성 된 아카이브 디렉토리로 이동 합니다.

파일이 손상 되었거나 처리 할 수 없는 경우 해당 파일이 특정 디렉터리로 이동 합니다. 주 둥이의 병렬 처리는 각 파일을 단일 주 둥이 인스턴스로 ”소유” 하도록 하는 잠금 메커니즘을 통해 가능 합니다. HDFS 주 둥이는 Kerberos 인증으로 보호 되는 HDFS 인스턴스에 대 한 연결을 지원 합니다. OpenTSDB는 아파치 HBase를 기반으로 하는 고도로 확장 가능한 시계열 데이터베이스입니다. Storm 1.1.0은 OpenTSDB에 데이터를 쓰기 위한 스톰 볼트 및 트라이던트 상태 구현을 추가 합니다. Storm의 OpenTSDB 통합은 사용자에 게 폭풍 튜플이 번역을 수행 하는 간단한 인터페이스를 제공 하 여 OpenTSDB 데이터 구조에 매핑되는 방식을 세부적으로 제어 합니다. 스톰의 PMML 지원에 대 한 자세한 내용은 여기에서 확인할 수 있습니다. Amazon의 Kinesis 서비스와 통합 하려는 사용자를 위해 Storm 1.1.0은 이제 Kinesis에서 메시지 스트림을 사용 하기 위한 주 둥이를 포함 합니다.

대부분의 Storm 외부 시스템 통합 구성 요소와 마찬가지로 Kinesis 주 둥이는 Kinesis 메시지를 스톰 튜플으로 변환 하는 방법을 제어 하기 위한 간단한 인터페이스 (RecordToTupleMapper)를 제공 합니다. Kinesis 주 둥이는 사용자가 주 둥이의 실패 처리 로직을 사용자 지정할 수 있는 추가 인터페이스 (FailedMessageRetryHandler)를 제공 합니다. Storm 1.0에 도입 된 리소스 인식 스케줄러는 클러스터에서 사용할 수 있는 메모리 (힙과 오프 힙)와 CPU 리소스를 모두 고려한 스케줄러 구현을 추가 했습니다. Storm 1.1.0에서 RAS 알고리즘은 클러스터 리소스 활용도를 획기적으로 개선 하 고 랙 인식을 일정 전략에 도입 하도록 철저 하 게 조정 되었습니다. Storm의 SQL 지원에는 다음과 같은 기능이 포함 됩니다. 드루 이드는 실시간 분석 활용 사례에 널리 사용 되는 확장 가능한 고성능 열 지향 분산 데이터 저장소입니다. Storm 1.1.0은 데이터를 드루 이드 데이터 스토어로 스트리밍하는 스톰 볼트 및 트라이던트 상태 구현을 소개 합니다.

Kommentarer inaktiverade.