4-2 MapReduce Algorithm Design part3

combiner, in mapper combiner

 

Combiner Design : reducer 와 combiner는 거의 같다. 다만 commitative, associative 해야함.

예를들어 평균값은 안됨. -> combiner가 key,(sum,cnt) 를 반환하도록 -> 근데 combiner가 없으면 제대로 동작 안됨 (reducer가 pair를 받도록 되어서) -> map이 key,(value, 1)을 반환하도록 함.