하둡 예제

이 문서에서는 Hadoop MapReduce 프레임워크의 모든 사용자 대면을 포괄적으로 설명하고 자습서 역할을 합니다. 하두프 파이프는 MapReduce 응용 프로그램(JNI가 아닌 ™ 기반)을 구현하는 SWIG 호환 C++ API입니다. 이 MapReduce 자습서 블로그에서는 Hadoop 프레임워크에서 처리의 핵심 구성 요소 중 하나인 MapReduce를 소개합니다. 앞으로 이동하기 전에, 나는 당신이 내 이전 HDFS 튜토리얼 블로그에서 다룬 HDFS 개념에 익숙해 하는 것이 좋습니다. 이렇게 하면 MapReduce 개념을 빠르고 쉽게 이해하는 데 도움이 됩니다. 축소 단계에서는 모든 키가 함께 그룹화되고 유사한 키에 대한 값이 추가되어 특정 단어에 대한 발생을 찾습니다. 맵 단계에서 생성된 키에 대한 집계 단계와 같습니다. 감속기 단계는 셔플 위상의 출력을 입력으로 취한 다음 키가 값 쌍을 값이 추가된 고유 키로 줄입니다. 이 예에서 „코끼리는 동물입니다.”라는 단어는 문장에 두 번 나타나는 유일한 단어입니다. MapReduce WordCount 예제 프로그램의 축소 단계를 실행한 후 키로 한 번만 나타나지만 아래와 같이 2개수로 나타납니다 . 따라서 의사 분산 또는 완전히 분산된 Hadoop 설치에서만 작동합니다.

일반 옵션의 유틸리티를 보여 줍니다일반 Hadoop 명령줄 옵션을 처리 하는 파서. 이 예제에서는 MapReduce라는 Hadoop 프레임워크의 두 번째 구성 요소를 보여 줄 것이고 단어 수 예제(Hadoop 생태계의 Hello World 프로그램)를 통해 이를 수행하지만 먼저 MapReduce가 실제로 무엇인지 이해해야 합니다. HDFS는 일반 파일 시스템과 다르게 최적화되어 있습니다. 짧은 대기 시간이 까다로운 온라인 응용 프로그램 대신 높은 처리량을 요구하는 비실시간 응용 프로그램을 위해 설계되었습니다. 예를 들어 파일을 한 번 작성하면 수정할 수 없으며 파일 시스템 표준에 따라 읽기/쓰기의 대기 시간이 매우 빠스럽습니다. 반대로 처리량은 클러스터의 데이터 노드 수에 따라 상당히 선형적으로 조정되므로 단일 컴퓨터가 처리할 수 없는 워크로드를 처리할 수 있습니다. 초기화 하는 동안 작업을 설정 합니다. 예를 들어 작업을 초기화하는 동안 작업에 대한 임시 출력 디렉터리를 만듭니다. 작업 설정은 작업이 준비 상태이고 작업을 초기화한 후 별도의 작업에 의해 수행됩니다. 설치 작업이 완료되면 작업이 RUNNING 상태로 이동됩니다.

이제 프로젝트 com.code.dezyre에서 WordCount 클래스를 만들어 WordCount 예제 프로그램을 구현해 보겠습니다. 아파치 하두롭은 두 가지 핵심 구성 요소로 구성되어 있습니다: Hadoop 스트리밍은 사용자가 모든 실행 가능한 작업(예: 쉘 유틸리티)을 매퍼 및/또는 감속기로 만들고 실행할 수 있는 유틸리티입니다. 이것은 하눕 맵Reduce의 단어 수 (안녕하세요 세계) 프로그램의 예입니다. 단어 수 예는 하눕과 MapReduce의 „Hello World” 프로그램입니다. 이 예제에서 프로그램은 파일의 각 단어의 발생 수를 계산하는 MapReduce 작업으로 구성됩니다. 이 작업은 맵과 축소 두 부분으로 구성됩니다. 맵 작업은 파일의 데이터를 매핑하고 맵 함수에 제공된 데이터 청크의 각 단어를 계산합니다. 이 작업의 결과는 데이터를 결합하고 디스크에 최종 결과를 출력하는 것을 줄이기 위해 전달됩니다. 이 프로그램은 전쟁과 평화 입력 파일로 실행됩니다. 받은 편지함으로 배달되는 Wordcount 프로그램에 대한 Hadoop 예제 코드와 함께 전쟁 및 평화 데이터 집합을 얻으려면 khushbu@dezyre.com 이메일을 보내십시오! MapReduce와 그 장점을 이해한 후, 전 세계에 250,000명 이상의 만족스러운 학습자 네트워크를 보유한 신뢰할 수 있는 온라인 학습 회사인 Edureka의 Hadoop 교육을 확인하십시오. Edureka 빅 데이터 하두롭 인증 교육 과정은 학습자가 소매, 소셜 미디어, 항공, 관광, 금융 영역에서 실시간 사용 사례를 사용하여 HDFS, 원사, MapReduce, 돼지, 하이브, HBase, Oozie, 수로 및 Sqoop의 전문가가 될 수 있도록 도와줍니다.