Apache spark를 maven을 사용해 빌드할 수 있는데 install을 하면 전체 프로젝트가 빌드되기 때문에 시간 낭비일 수 있다.

maven을 이용해 특정 프로젝트만 빌드할 수 있다.



아파치 스파크 빌드 시간

mvn install -DskipTests로 빌드한 모습. 5분 52초나 걸렸다.

사실 다른 프로그램과 비교했을 때(ex. boost) 꽤 짧은 편이지만 한줄 수정하고 빌드하고 이 짓을 계속 할 순 없다..


메이븐에서 다음과 같이 프로젝트별 빌드를 할 수 있다.

  • spark 코어만 빌드하려면?
    mvn -pl core package -DskipTests
  • spark 코어와 spark 스트리밍을 빌드하려면?
    mvn -pl core,streaming package -DskipTests

-DskipTests는 넣어도 되고 빼도 된다



메이븐을 이용해 스파크 코어만 빌드한 모습

코어만 빌드한 모습. 빌드 시간이 확 줄었다.

반응형

'프로그래밍 > Spark' 카테고리의 다른 글

Spark 특정 프로젝트만 빌드하는 법  (0) 2017.01.09