map-reduce02.py

from concurrent.futures import ThreadPoolExecutor
from collections import defaultdict


def map_function(word):
    return word, 1


def shuffle_function(mapped_values):
    shuffled = defaultdict(list)
    for key, value in mapped_values:
        shuffled[key].append(value)
    return shuffled.items()


def reduce_function(key_values):
    key, values = key_values
    return key, sum(values)


# Виконання MapReduce
def map_reduce(text):
    words = text.split()

    # Паралельний Маппінг
    with ThreadPoolExecutor() as executor:
        mapped_values = list(executor.map(map_function, words))

    # Крок 2: Shuffle
    shuffled_values = shuffle_function(mapped_values)

    # Паралельна Редукція
    with ThreadPoolExecutor() as executor:
        reduced_values = list(executor.map(reduce_function, shuffled_values))

    return dict(reduced_values)


if __name__ == "__main__":
    # Вхідний текст для обробки
    text = "hello world hello Python hello Student"

    # Виконання MapReduce на вхідному тексті
    result = map_reduce(text)

    print("Результат підрахунку слів:", result)