Apache spark를 maven을 사용해 빌드할 수 있는데 install을 하면 전체 프로젝트가 빌드되기 때문에 시간 낭비일 수 있다.
maven을 이용해 특정 프로젝트만 빌드할 수 있다.
mvn install -DskipTests로 빌드한 모습. 5분 52초나 걸렸다.
사실 다른 프로그램과 비교했을 때(ex. boost) 꽤 짧은 편이지만 한줄 수정하고 빌드하고 이 짓을 계속 할 순 없다..
메이븐에서 다음과 같이 프로젝트별 빌드를 할 수 있다.
- spark 코어만 빌드하려면?
mvn -pl core package -DskipTests - spark 코어와 spark 스트리밍을 빌드하려면?
mvn -pl core,streaming package -DskipTests
-DskipTests는 넣어도 되고 빼도 된다
코어만 빌드한 모습. 빌드 시간이 확 줄었다.
반응형
