oozie 다운로드

임베디드 Tomcat 서버와 함께 Oozie를 실행 하는 경우, conf/oozie-env .ssh 파일을 사용 하 여 Oozie에서 사용 하는 다음과 같은 환경 변수를 구성할 수 있습니다. 또한 HTTPS를 사용 하 여 Oozie HA를 사용할 때 몇 가지 추가 고려 사항이 있습니다. Oozie는 HSQL, 더비, MySQL, 오라클, PostgreSQL 또는 SQL 서버 데이터베이스와 함께 작동 합니다. Oozie는 다른 파일 (구성, 로그, 데이터 및 임시 파일)에 대해 Unix 표준 파일 시스템 계층 구조를 사용 하도록 구성할 수 있습니다. 2. 인증서 파일을 만든 후에는 Oozie 사용자로 서 다음 명령을 실행 하 여 인증에서 키 저장소 파일을 만듭니다. 이제 Oozie 워크플로 응용 프로그램이 사용자의 HDFS 홈 디렉터리 아래에 있는 ch01/앱/디렉터리에 배포 됩니다. 또한 Oozie 작업을 실행 하는 데 필요한 입력 데이터를 ch01/데이터/입력 디렉터리로 복사 했습니다. Oozie 구성은 3 개의 다른 파일로 배포 됩니다. Oozie 워크플로 정의는 hPDL로 작성 됩니다 (JBOSS JBPM Jbpm과 유사한 XML 프로세스 정의 언어). 이 사용자에 대 한 단일 진입점을 제공 하는 데 사용 되는 JobTracker/ResourceManager에서 콜백 합니다. 요청을 배포 하기 위해 Oozie 서버 간의 라운드 로빈에 대해 로드 밸 런 서를 구성 해야 합니다. Oozie 클라이언트, 웹 브라우저 또는 REST API를 사용 하는 사용자는 로드 밸 런 서를 통해 연결 해야 합니다.

전체 HA를 보유 하려면 로드 밸 런 서도 HA를 지원 해야 하거나 단일 실패 지점이 됩니다. Oozie 워크플로에는 제어 흐름 노드와 작업 노드가 포함 됩니다. 참고: Oozie HA를 사용 하는 경우 각 Oozie 서버에 키 저장소 파일의 복사본이 있는지 확인 합니다. 다음은 Oozie HA에 특정 한 추가 단계 및 정보입니다. Oozie 응용 프로그램 작성 및 Oozie 작업 실행을 시작 하려면 id 맵 리 듀 서 작업을 실행 하는 id-WF 라는 Oozie 워크플로 응용 프로그램을 만듭니다. Id 맵 리 듀 서 작업은 단지 출력으로 그 입력을 에코 하 고 다른 아무것도 하지 않습니다. 하 둡은 이러한 클래스를 예제에 사용할 수 있도록 식별자 클래스와 식별자를 묶습니다. Oozie 빠른 시작: http://oozie.apache.org/docs/5.0.0/DG_QuickStart.html 2. 키 저장소 파일에서 인증서 파일을 내보내려면 다음 명령 (Oozie 사용자)을 실행 합니다. Oozie 워크플로 편집기에서 드래그 하 여 새 일반 작업을 가져올 수 있습니다. 이 예에서는 id-WF 워크플로를 시작한 후에 Oozie가 id-MR 이라는 맵 리 듀 스 작업을 실행 합니다. 맵 리 듀 서 작업이 성공적으로 완료 되 면 워크플로 작업이 정상적으로 종료 됩니다.

맵 리 듀 서 작업이 제대로 실행 되지 않으면, Oozie는 워크플로를 죽인다. 그림 1-2이이 워크플로 캡처합니다. 3. Hadoop 2.6.0 및 나중에 모든 Oozie 서버에서 동기화 되는 롤링 무작위 비밀은 Oozie 인증 토큰 서명에 사용 됩니다. 이 작업은 HA가 활성화 될 때 자동으로 수행 됩니다. 추가 구성이 필요 하지 않습니다. 이 섹션에서는 Oozie가 더 큰 Hadoop 에코 시스템에 적합 한 위치에 대해 간략하게 설명 합니다. 그림 1-1은 생태계에서 Oozie의 위치에 대 한 높은 수준의 보기를 캡처합니다.

Oozie 핵심 하 둡 구성 요소를 구동 할 수 있다-즉, 맵 리 듀 서 작업 및 하 둡 분산 파일 시스템 (HDFS) 작업. 또한 Oozie는 돼지, 하이브, Sqoop 및 DistCp와 같은 일반적인 더 높은 수준의 도구를 대부분 오케스트레이션 할 수 있습니다. 더 중요 한 것은, Oozie는 어떤 언어로 작성 된 모든 사용자 정의 하 둡 작업을 지원 하기 위해 확장 할 수 있습니다. Oozie는 주로 Hadoop 구성 요소를 처리 하도록 설계 되었지만, Oozie는 Java 클래스 또는 셸 스크립트와 같은 다른 비 Hadoop 작업의 실행도 관리할 수 있습니다. 참고: Oozie의 conf/디렉토리에 있는 oozie-default 파일은 Oozie에서 사용 되지 않으며 참조용 으로만 사용할 수 있습니다.

Por
maio 12, 2019