partial_fit for Bertopic

[econinomista]

I want to use the bertopic module in Spyder to analyze the topic of tweets. Furthermore, I want to use splits of my original data set to reduce running time since my data set is very large. I use the code underneath to first train my model and then use it to predict probabilities. However, Spyder for me always returns ValueError: In order to use .partial_fit, the cluster model should have a .partial_fit function.. I have not found any discussions on this topic, since I also found that in fact there is a partial_fit function for bertopic. Did anyone have the same experiences and could help me? Thank you in advance!

`import os
from bertopic import BERTopic
import numpy as np
import pandas as pd

N_SPLITS = 10

def train_model(corpus_df, n_splits=N_SPLITS):
df_splits = np.array_split(corpus_df, N_SPLITS)

checkpoint, model = load_checkpoint()  # Funktion ist weiter unten definiert

# BERTopic Analysis

# create the BERTopic object
model = BERTopic(verbose=True, language="multilingual", min_topic_size=50)

for i, x in enumerate(df_splits):
    # check if checkpoint has previously been written
    if checkpoint is not None:  #  das trifft zu wenn bereits eine Checkpoint Datei existiert. Du kannst sie also löschen um von vorne anzufangen
        if checkpoint >= i:  # Das trifft zu, wenn wir den Checkpoint bereits hatten
            print(f'Skipping iteration {i}/{len(df_splits)}')
            continue
        else:
            print(f'Running iteration {i}/{len(df_splits)}')
    else:
        print(f'Running iteration {i}/{len(df_splits)}')

    model.partial_fit(x)       
    #prediction = pd.DataFrame(prediction_func(x))  # Vorhersage/Datenprocessing für eine Iteration
    #prediction['ID'] = x['ID']  # Identifier  hinzufügen, damit es später nicht zu Problemen kommt
    #prediction.to_csv(f'./prediction_{i}.csv')  # speichern des Ergebnisses für diese Iteration

    save_checkpoint(model)  # Funktion ist weiter unten definiert
    checkpoint = i

print('done')
df = pd.concat([pd.read_csv(f'./prediction_part_{i}.csv') for i in range(n_splits)])
return model, df

def predict_data(df, model, n_splits=N_SPLITS):
df_splits = np.array_split(df, N_SPLITS)

checkpoint, model = load_checkpoint_data()  # Funktion ist weiter unten definiert

for i, x in enumerate(df_splits):
    # check if checkpoint has previously been written
    if checkpoint is not None:  #  das trifft zu wenn bereits eine Checkpoint Datei existiert. Du kannst sie also löschen um von vorne anzufangen
        if checkpoint >= i:  # Das trifft zu, wenn wir den Checkpoint bereits hatten
            print(f'Skipping iteration {i}/{len(df_splits)}')
            continue
        else:
            print(f'Running iteration {i}/{len(df_splits)}')
    else:
        print(f'Running iteration {i}/{len(df_splits)}')

    prediction = pd.DataFrame(model.transform(x))
    #prediction = pd.DataFrame(prediction_func(x))  # Vorhersage/Datenprocessing für eine Iteration
    prediction['ID'] = x['ID']  # Identifier  hinzufügen, damit es später nicht zu Problemen kommt
    #prediction.to_csv(f'./prediction_{i}.csv')  # speichern des Ergebnisses für diese Iteration

    save_checkpoint_data(prediction, i)  # Funktion ist weiter unten definiert
    checkpoint = i

print('done')`