본문 바로가기

Python

 (2)
[Apache Spark] 실습을 위한 로그 파일 생성 Apache Spark는 대규모 데이터 처리를 위한 오픈 소스 클러스터 컴퓨팅 프레임워크로, 대규모 데이터셋을 효과적으로 처리할 수 있습니다. 이를 실습하기 위해 사용할 로그 파일을 생성하는 파이썬 코드를 작성해 보도록 하겠습니다. 실습에 사용할 로그 파일 결과물 112.85.179.101,2023-11-28 21:33:50,PUT,/auth,403,90 68.26.205.170,2023-11-28 21:37:11,DELETE,/auth,404,8 152.244.89.140,2023-11-28 21:34:32,PATCH,/customer,200,27 162.125.162.55,2023-11-28 21:34:48,POST,/products,200,64 239.158.199.177,2023-11-28 21:..
[Apache Spark] 로컬 환경에 설치 및 간단 예제 이번에는 로컬 환경에 Apache Spark를 설치하고 간단한 예제를 작성하여 실습을 진행해 보도록 하겠습니다. 저는 macOS를 사용하고 있어서, 윈도우 환경에서 진행하시는 분들과는 약간의 차이가 있을 수 있습니다. 자바 설치 먼저 Apache Spark에 필요한 Java를 설치해 줍니다. 자바 설치 방법은 다양하기 때문에 따로 설명을 추가하진 않겠습니다. java --version 터미널에서 위 명령어를 입력했을 때, 버전 정보가 정상적으로 출력된다면 설치가 완료된 것 입니다. IDE 설치 코드 작성에 사용할 IDE를 설치 해 줍니다. 저는 PyCharm을 사용하도록 하겠습니다. PyCharm 이외에 본인이 편하신 IDE를 사용하셔도 됩니다. https://www.jetbrains.com/produc..

티스토리툴바