SoftwareX experiments-plots

COeXISTENCE-PROJECT · Nov 21, 2024 · c8fdac5 · c8fdac5
1 parent 10e6719
commit c8fdac5
Show file tree

Hide file tree

Showing 3,639 changed files with 77,267 additions and 0 deletions.
diff --git a/tutorials/SoftwareXExperiments/mappo_ippo_mutation.ipynb b/tutorials/SoftwareXExperiments/mappo_ippo_mutation.ipynb
diff --git a/tutorials/SoftwareXExperiments/params.json b/tutorials/SoftwareXExperiments/params.json
@@ -0,0 +1,154 @@
+{
+    "ATTENTION":
+    {
+        "COMMENT1" : "Pretty much everything can be controlled here",
+        "COMMENT2" : "The parameters are self-explanatory, but if you need help, please contact me",
+        "COMMENT3" : "Put all you variables into categories.",
+        "COMMENT4" : "You can use dependent variables (examples below), but not below level 2"
+    },
+
+
+    "runner_parameters":
+    {
+        "num_episodes" : 1600,
+        "episode_length": 1,
+        "phases" : [0, 100, 500],
+        "phase_names" : ["Human learning", "Mutation - Machine learning", "Human learning"],
+        "remember_every" : 1,
+        "frequent_progressbar_update" : false
+    },
+
+    "phase_parameters":
+    {
+        "number_of_phases": 2,
+        "number_episodes_each_phase": [100, 500, 100]
+    },
+
+
+    "agent_parameters" :
+    {
+        "agents_data_path" : "${agent_generation_parameters.agents_data_path}",
+        "action_space_size" : "${path_generation_parameters.number_of_paths}",
+
+        "machine_parameters" :
+        {
+            "batch_size" : 32,
+
+            "appearance_phase" : 1,
+            "learning_phases" : [1, 2],
+            "behavior" : "collaborative",
+            "model" : "DQN",
+            "observed_span" : 300,
+            "epsilon" : 0.99,
+            "epsilon_decay_rate" : 0.998,
+            "buffer_size" : 256,
+            "learning_rate" : 0.003,
+            "num_hidden" : 2,
+            "widths" : [32, 64, 32]
+        },
+
+        "human_parameters" :
+        {
+            "learning_phases" : [0, 2],
+            "model" : "gawron",
+            "alpha" : 0.2,
+            "alpha_sigma": 0.2,
+            "alpha_zero": 0.2,
+            "beta" : 0.01,
+            "beta_randomness" : 0.3,
+            "appearance_phase" : "No need for this, by default appears in 0",
+            "behavior" : "No need for this, by default selfish"
+        }
+    },
+
+
+    "environment_parameters":
+    {
+        "action_space_size" : "${path_generation_parameters.number_of_paths}",
+        "number_of_days" : 1
+    },
+
+
+    "simulator_parameters":
+    {
+        "simulation_timesteps" : 40,
+        "seed" : "23423",
+        "sumo_type" : "sumo",
+        "number_of_paths" : "${path_generation_parameters.number_of_paths}",
+        "env_var" : "SUMO_HOME",
+
+        "sumo_config_path": "../../RouteRL/network_and_config/two_route_yield/SUMO.sumocfg",
+        "paths_csv_save_path": "../../RouteRL/network_and_config/two_route_yield/paths.csv",
+        "route_file_path": "../../RouteRL/network_and_config/two_route_yield/rou.rou.xml",
+        "sumo_fcd": "../../RouteRL/network_and_config/two_route_yield/fcd.xml",
+
+        "paths_csv_save_detectors": "../../RouteRL/network_and_config/two_route_yield/detectors.csv"
+
+    },
+
+    "plotter_parameters":
+    {
+        "smooth_by" : 50,
+
+        "phases" : "${runner_parameters.phases}",
+        "phase_names" : "${runner_parameters.phase_names}",
+        "colors" : ["firebrick", "teal", "peru", "navy", "salmon", "slategray", "darkviolet", "goldenrod", "darkolivegreen", "dodgerblue"],
+        "linestyles" : ["solid", "dotted", "dashed", "dashdot"],
+        "default_width" : 12,
+        "default_height" : 6,
+        "multimode_width" : 8,
+        "multimode_height" : 5,
+        "default_num_columns" : 2,
+
+        "records_folder": "training_records",
+        "episodes_logs_folder": "episodes",
+        "simulation_length_log_file_name": "simulation_length.txt",
+        "losses_log_file_name": "losses.txt",
+        "detector_logs_folder": "detector",
+        "paths_csv_file_name": "paths.csv",
+        "free_flow_times_csv_file_name": "../../path_generation/free_flow_times.csv",
+
+        "plots_folder": "plots",
+        "reward_plot_file_name": "rewards.png",
+        "travel_times_plot_file_name": "travel_times.png",
+        "tt_dist_plot_file_name": "tt_dist.png",
+        "ff_travel_time_plot_file_name": "ff_travel_time.png",
+        "flows_plot_file_name": "flows.png",
+        "simulation_length_plot_file_name": "simulation_length.png",
+        "losses_plot_file_name": "losses.png",
+        "actions_plot_file_name": "actions.png",
+        "actions_shifts_plot_file_name": "actions_shifts.png",
+        "machine_agents_epsilons_plot_file_name": "epsilons.png"
+    },
+
+
+    "agent_generation_parameters" :
+    {
+        "num_agents" : 20,
+        "new_machines_after_mutation": 10,
+        "ratio_mutating" : 0.5,
+        "agent_attributes" : ["id", "origin", "destination", "start_time", "kind"],
+        "simulation_timesteps" : "${simulator_parameters.simulation_timesteps}",
+        "origins" : "${path_generation_parameters.origins}",
+        "destinations" : "${path_generation_parameters.destinations}",
+
+        "agents_data_path": "../../RouteRL/network_and_config/agents_data.csv"
+    },
+
+
+    "path_generation_parameters":
+    {
+        "number_of_paths" : 2,
+        "beta" : -1.50,
+        "weight" : "time",
+        "num_samples" : 100,
+        "max_path_length" : 200,
+        "route_utility_coeffs" : [0.2, 0.2, 0.2, 0.4],
+
+        "origins" : ["441496282#0", "154551772#1"],
+        "destinations" : ["-115604057#1", "-279952229#4"],
+
+        "COMMENT5" : "Make sure origins are not dead-ends",
+        "COMMENT6" : "Make sure destinations are reachable"
+    } 
+}
diff --git a/tutorials/SoftwareXExperiments/plots_altruistic_human_learning/actions.png b/tutorials/SoftwareXExperiments/plots_altruistic_human_learning/actions.png
diff --git a/tutorials/SoftwareXExperiments/plots_altruistic_human_learning/actions_shifts.png b/tutorials/SoftwareXExperiments/plots_altruistic_human_learning/actions_shifts.png
diff --git a/tutorials/SoftwareXExperiments/plots_altruistic_human_learning/rewards.png b/tutorials/SoftwareXExperiments/plots_altruistic_human_learning/rewards.png
diff --git a/...ials/SoftwareXExperiments/plots_altruistic_human_learning/simulation_length.png b/...ials/SoftwareXExperiments/plots_altruistic_human_learning/simulation_length.png
diff --git a/tutorials/SoftwareXExperiments/plots_altruistic_human_learning/travel_times.png b/tutorials/SoftwareXExperiments/plots_altruistic_human_learning/travel_times.png
diff --git a/tutorials/SoftwareXExperiments/plots_altruistic_human_learning/tt_dist.png b/tutorials/SoftwareXExperiments/plots_altruistic_human_learning/tt_dist.png
diff --git a/tutorials/SoftwareXExperiments/plots_collaborative_human_learning/actions.png b/tutorials/SoftwareXExperiments/plots_collaborative_human_learning/actions.png
diff --git a/...ials/SoftwareXExperiments/plots_collaborative_human_learning/actions_shifts.png b/...ials/SoftwareXExperiments/plots_collaborative_human_learning/actions_shifts.png
diff --git a/tutorials/SoftwareXExperiments/plots_collaborative_human_learning/rewards.png b/tutorials/SoftwareXExperiments/plots_collaborative_human_learning/rewards.png
diff --git a/...s/SoftwareXExperiments/plots_collaborative_human_learning/simulation_length.png b/...s/SoftwareXExperiments/plots_collaborative_human_learning/simulation_length.png
diff --git a/tutorials/SoftwareXExperiments/plots_collaborative_human_learning/travel_times.png b/tutorials/SoftwareXExperiments/plots_collaborative_human_learning/travel_times.png
diff --git a/tutorials/SoftwareXExperiments/plots_collaborative_human_learning/tt_dist.png b/tutorials/SoftwareXExperiments/plots_collaborative_human_learning/tt_dist.png
diff --git a/tutorials/SoftwareXExperiments/plots_competitive_human_learning/actions.png b/tutorials/SoftwareXExperiments/plots_competitive_human_learning/actions.png
diff --git a/tutorials/SoftwareXExperiments/plots_competitive_human_learning/actions_shifts.png b/tutorials/SoftwareXExperiments/plots_competitive_human_learning/actions_shifts.png
diff --git a/tutorials/SoftwareXExperiments/plots_competitive_human_learning/rewards.png b/tutorials/SoftwareXExperiments/plots_competitive_human_learning/rewards.png
diff --git a/...als/SoftwareXExperiments/plots_competitive_human_learning/simulation_length.png b/...als/SoftwareXExperiments/plots_competitive_human_learning/simulation_length.png
diff --git a/tutorials/SoftwareXExperiments/plots_competitive_human_learning/travel_times.png b/tutorials/SoftwareXExperiments/plots_competitive_human_learning/travel_times.png
diff --git a/tutorials/SoftwareXExperiments/plots_competitive_human_learning/tt_dist.png b/tutorials/SoftwareXExperiments/plots_competitive_human_learning/tt_dist.png
diff --git a/tutorials/SoftwareXExperiments/plots_malicious_human_learning/actions.png b/tutorials/SoftwareXExperiments/plots_malicious_human_learning/actions.png
diff --git a/tutorials/SoftwareXExperiments/plots_malicious_human_learning/actions_shifts.png b/tutorials/SoftwareXExperiments/plots_malicious_human_learning/actions_shifts.png
diff --git a/tutorials/SoftwareXExperiments/plots_malicious_human_learning/rewards.png b/tutorials/SoftwareXExperiments/plots_malicious_human_learning/rewards.png
diff --git a/...rials/SoftwareXExperiments/plots_malicious_human_learning/simulation_length.png b/...rials/SoftwareXExperiments/plots_malicious_human_learning/simulation_length.png
diff --git a/tutorials/SoftwareXExperiments/plots_malicious_human_learning/travel_times.png b/tutorials/SoftwareXExperiments/plots_malicious_human_learning/travel_times.png
diff --git a/tutorials/SoftwareXExperiments/plots_malicious_human_learning/tt_dist.png b/tutorials/SoftwareXExperiments/plots_malicious_human_learning/tt_dist.png
diff --git a/tutorials/SoftwareXExperiments/plots_selfish_human_learning/actions.png b/tutorials/SoftwareXExperiments/plots_selfish_human_learning/actions.png
diff --git a/tutorials/SoftwareXExperiments/plots_selfish_human_learning/actions_shifts.png b/tutorials/SoftwareXExperiments/plots_selfish_human_learning/actions_shifts.png
diff --git a/tutorials/SoftwareXExperiments/plots_selfish_human_learning/rewards.png b/tutorials/SoftwareXExperiments/plots_selfish_human_learning/rewards.png
diff --git a/tutorials/SoftwareXExperiments/plots_selfish_human_learning/simulation_length.png b/tutorials/SoftwareXExperiments/plots_selfish_human_learning/simulation_length.png
diff --git a/tutorials/SoftwareXExperiments/plots_selfish_human_learning/travel_times.png b/tutorials/SoftwareXExperiments/plots_selfish_human_learning/travel_times.png
diff --git a/tutorials/SoftwareXExperiments/plots_selfish_human_learning/tt_dist.png b/tutorials/SoftwareXExperiments/plots_selfish_human_learning/tt_dist.png
diff --git a/tutorials/SoftwareXExperiments/plots_social_human_learning/actions.png b/tutorials/SoftwareXExperiments/plots_social_human_learning/actions.png
diff --git a/tutorials/SoftwareXExperiments/plots_social_human_learning/actions_shifts.png b/tutorials/SoftwareXExperiments/plots_social_human_learning/actions_shifts.png
diff --git a/tutorials/SoftwareXExperiments/plots_social_human_learning/rewards.png b/tutorials/SoftwareXExperiments/plots_social_human_learning/rewards.png
diff --git a/tutorials/SoftwareXExperiments/plots_social_human_learning/simulation_length.png b/tutorials/SoftwareXExperiments/plots_social_human_learning/simulation_length.png
diff --git a/tutorials/SoftwareXExperiments/plots_social_human_learning/travel_times.png b/tutorials/SoftwareXExperiments/plots_social_human_learning/travel_times.png
diff --git a/tutorials/SoftwareXExperiments/plots_social_human_learning/tt_dist.png b/tutorials/SoftwareXExperiments/plots_social_human_learning/tt_dist.png
diff --git a/tutorials/SoftwareXExperiments/plotting.ipynb b/tutorials/SoftwareXExperiments/plotting.ipynb
diff --git a/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep1.csv b/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep1.csv
@@ -0,0 +1,21 @@
+travel_time,id,kind,action,origin,destination,start_time,reward,reward_right,cost_table
+0.4666666666666667,0,Human,0,0,0,1,-0.4666666666666667,-0.4666666666666667,"-0.09333333333333334,0.0"
+0.5,1,Human,0,0,0,3,-0.5,-0.5,"-0.1,0.0"
+0.55,2,Human,0,0,0,5,-0.55,-0.55,"-0.11000000000000001,0.0"
+0.5333333333333333,3,Human,0,0,0,7,-0.5333333333333333,-0.5333333333333333,"-0.10666666666666667,0.0"
+0.55,4,Human,0,0,0,9,-0.55,-0.55,"-0.11000000000000001,0.0"
+0.6333333333333333,5,Human,0,0,0,11,-0.6333333333333333,-0.6333333333333333,"-0.12666666666666668,0.0"
+0.6333333333333333,6,Human,0,0,0,13,-0.6333333333333333,-0.6333333333333333,"-0.12666666666666668,0.0"
+0.65,7,Human,0,0,0,15,-0.65,-0.65,"-0.13,0.0"
+0.6666666666666666,8,Human,0,0,0,17,-0.6666666666666666,-0.6666666666666666,"-0.13333333333333333,0.0"
+0.7,9,Human,0,0,0,19,-0.7,-0.7,"-0.13999999999999999,0.0"
+0.6833333333333333,10,Human,0,0,0,21,-0.6833333333333333,-0.6833333333333333,"-0.1366666666666667,0.0"
+0.6833333333333333,11,Human,0,0,0,23,-0.6833333333333333,-0.6833333333333333,"-0.1366666666666667,0.0"
+0.7,12,Human,0,0,0,25,-0.7,-0.7,"-0.13999999999999999,0.0"
+0.7,13,Human,0,0,0,27,-0.7,-0.7,"-0.13999999999999999,0.0"
+0.7166666666666667,14,Human,0,0,0,29,-0.7166666666666667,-0.7166666666666667,"-0.14333333333333334,0.0"
+0.7666666666666667,15,Human,0,0,0,31,-0.7666666666666667,-0.7666666666666667,"-0.15333333333333335,0.0"
+0.8166666666666667,16,Human,0,0,0,33,-0.8166666666666667,-0.8166666666666667,"-0.16333333333333333,0.0"
+0.8166666666666667,17,Human,0,0,0,35,-0.8166666666666667,-0.8166666666666667,"-0.16333333333333333,0.0"
+0.8333333333333334,18,Human,0,0,0,37,-0.8333333333333334,-0.8333333333333334,"-0.16666666666666669,0.0"
+0.8333333333333334,19,Human,0,0,0,39,-0.8333333333333334,-0.8333333333333334,"-0.16666666666666669,0.0"
diff --git a/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep10.csv b/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep10.csv
@@ -0,0 +1,21 @@
+travel_time,id,kind,action,origin,destination,start_time,reward,reward_right,cost_table
+0.4666666666666667,0,Human,0,0,0,1,-0.4666666666666667,-0.4666666666666667,"-0.41655871488000007,0.0"
+0.5,1,Human,0,0,0,3,-0.5,-0.5,"-0.3951424,-0.47173333333333345"
+0.55,2,Human,0,0,0,5,-0.55,-0.55,"-0.4806117324800001,0.0"
+0.5333333333333333,3,Human,0,0,0,7,-0.5333333333333333,-0.5333333333333333,"-0.4214852266666668,-0.4528"
+0.55,4,Human,0,0,0,9,-0.55,-0.55,"-0.43465664000000015,-0.4690666666666667"
+0.6333333333333333,5,Human,0,0,0,11,-0.6333333333333333,-0.6333333333333333,"-0.5631963511466668,0.0"
+0.6333333333333333,6,Human,0,0,0,13,-0.6333333333333333,-0.6333333333333333,"-0.4943483733333335,-0.48200000000000004"
+0.65,7,Human,0,0,0,15,-0.65,-0.65,"-0.5117864533333334,-0.5292000000000001"
+0.6666666666666666,8,Human,0,0,0,17,-0.6666666666666666,-0.6666666666666666,"-0.6048503466666668,0.0"
+0.7,9,Human,0,0,0,19,-0.7,-0.7,"-0.7393087795200002,0.0"
+0.6833333333333333,10,Human,0,0,0,21,-0.6833333333333333,-0.6833333333333333,"-0.7464298308266669,0.0"
+0.6833333333333333,11,Human,0,0,0,23,-0.6833333333333333,-0.6833333333333333,"-0.7481364974933336,0.0"
+0.7,12,Human,0,0,0,25,-0.7,-0.7,"-0.5742058666666666,-0.6407733333333334"
+0.7,13,Human,0,0,0,27,-0.7,-0.7,"-0.5749525333333333,-0.6484800000000002"
+1.1333333333333333,14,Human,1,0,0,29,-1.1333333333333333,-1.1333333333333333,"-0.5899168000000001,-0.6790400000000001"
+1.2,15,Human,1,0,0,31,-1.2,-1.2,"-0.6180629333333334,-0.7166933333333334"
+1.25,16,Human,1,0,0,33,-1.25,-1.25,"-0.6435424000000001,-0.7505866666666668"
+1.2833333333333334,17,Human,1,0,0,35,-1.2833333333333334,-1.2833333333333334,"-0.6435424000000001,-0.7637600000000002"
+0.8333333333333334,18,Human,0,0,0,37,-0.8333333333333334,-0.8333333333333334,"-0.9008607061333336,0.0"
+0.8333333333333334,19,Human,0,0,0,39,-0.8333333333333334,-0.8333333333333334,"-0.8982802261333336,0.0"
diff --git a/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep100.csv b/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep100.csv
@@ -0,0 +1,21 @@
+travel_time,id,kind,action,origin,destination,start_time,reward,reward_right,cost_table
+0.4666666666666667,0,Human,0,0,0,1,-0.4666666666666667,-0.4666666666666667,"-0.46666666657160505,0.0"
+0.5,1,Human,0,0,0,3,-0.5,-0.5,"-0.49999999975133846,-0.5673866666666667"
+0.55,2,Human,0,0,0,5,-0.55,-0.55,"-0.5499999998135046,0.0"
+0.5333333333333333,3,Human,0,0,0,7,-0.5333333333333333,-0.5333333333333333,"-0.5333333330680944,-0.5489066666666667"
+0.55,4,Human,0,0,0,9,-0.55,-0.55,"-0.5499999997264724,-0.5685866666666668"
+0.6333333333333333,5,Human,0,0,0,11,-0.6333333333333333,-0.6333333333333333,"-0.6333333329533759,0.0"
+0.6333333333333333,6,Human,0,0,0,13,-0.6333333333333333,-0.6333333333333333,"-0.6333333326843263,-0.6591466666666668"
+0.65,7,Human,0,0,0,15,-0.65,-0.65,"-0.6499999995649552,-0.7346880000000002"
+0.6666666666666666,8,Human,0,0,0,17,-0.6666666666666666,-0.6666666666666666,"-0.6666666667537856,0.0"
+0.7,9,Human,0,0,0,19,-0.7,-0.7,"-0.7000000002504896,0.0"
+0.6833333333333333,10,Human,0,0,0,21,-0.6833333333333333,-0.6833333333333333,"-0.6833333339169967,0.0"
+0.6833333333333333,11,Human,0,0,0,23,-0.6833333333333333,-0.6833333333333333,"-0.6833333339047954,0.0"
+0.7,12,Human,0,0,0,25,-0.7,-0.7,"-0.700000000067158,-0.7292853333333335"
+0.7,13,Human,0,0,0,27,-0.7,-0.7,"-0.7000000001183333,-0.7387840000000001"
+0.7166666666666667,14,Human,0,0,0,29,-0.7166666666666667,-0.7166666666666667,"-0.7166666667254886,-0.773232"
+0.7666666666666667,15,Human,0,0,0,31,-0.7666666666666667,-0.7666666666666667,"-0.7666666680304134,-0.8166880000000001"
+0.8166666666666667,16,Human,0,0,0,33,-0.8166666666666667,-0.8166666666666667,"-0.8166666671902998,-0.8504693333333335"
+0.8166666666666667,17,Human,0,0,0,35,-0.8166666666666667,-0.8166666666666667,"-0.8166666671408468,-0.8576746666666669"
+0.8333333333333334,18,Human,0,0,0,37,-0.8333333333333334,-0.8333333333333334,"-0.8333333342835216,0.0"
+0.8333333333333334,19,Human,0,0,0,39,-0.8333333333333334,-0.8333333333333334,"-0.8333333346375817,0.0"
diff --git a/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep101.csv b/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep101.csv
@@ -0,0 +1,21 @@
+travel_time,id,kind,action,origin,destination,start_time,reward,reward_right,cost_table
+0.4666666666666667,0,AV,0,0,0,1,-0.8875,,"0,0"
+0.5333333333333333,2,AV,0,0,0,5,-0.8875,,"0,0"
+0.95,4,AV,1,0,0,9,-0.8875,,"0,0"
+0.6166666666666667,6,AV,0,0,0,13,-0.8875,,"0,0"
+1.0666666666666667,8,AV,1,0,0,17,-0.8875,,"0,0"
+1.0333333333333334,10,AV,1,0,0,21,-0.8875,,"0,0"
+1.0833333333333333,12,AV,1,0,0,25,-0.8875,,"0,0"
+1.1333333333333333,14,AV,1,0,0,29,-0.8875,,"0,0"
+1.2333333333333334,16,AV,1,0,0,33,-0.8875,,"0,0"
+1.2833333333333334,18,AV,0,0,0,37,-0.8875000000000002,,"0,0"
+0.5,1,Human,0,0,0,3,-0.5,-0.5,"-0.49999999975133846,-0.5673866666666667"
+0.5333333333333333,3,Human,0,0,0,7,-0.5333333333333333,-0.5333333333333333,"-0.5333333330680944,-0.5489066666666667"
+0.6333333333333333,5,Human,0,0,0,11,-0.6333333333333333,-0.6333333333333333,"-0.6333333329533759,0.0"
+0.6666666666666666,7,Human,0,0,0,15,-0.6666666666666666,-0.65,"-0.6499999995649552,-0.7346880000000002"
+0.7166666666666667,9,Human,0,0,0,19,-0.7166666666666667,-0.7,"-0.7000000002504896,0.0"
+0.75,11,Human,0,0,0,23,-0.75,-0.6833333333333333,"-0.6833333339047954,0.0"
+0.7166666666666667,13,Human,0,0,0,27,-0.7166666666666667,-0.7,"-0.7000000001183333,-0.7387840000000001"
+1.3,15,Human,0,0,0,31,-1.3,-0.7666666666666667,"-0.7666666680304134,-0.8166880000000001"
+1.2666666666666666,17,Human,0,0,0,35,-1.2666666666666666,-0.8166666666666667,"-0.8166666671408468,-0.8576746666666669"
+1.2666666666666666,19,Human,0,0,0,39,-1.2666666666666666,-0.8333333333333334,"-0.8333333346375817,0.0"
diff --git a/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep102.csv b/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep102.csv
@@ -0,0 +1,21 @@
+travel_time,id,kind,action,origin,destination,start_time,reward,reward_right,cost_table
+0.8833333333333333,0,AV,1,0,0,1,-0.8991666666666666,,"0,0"
+0.5166666666666667,2,AV,0,0,0,5,-0.8991666666666666,,"0,0"
+0.95,4,AV,1,0,0,9,-0.8991666666666666,,"0,0"
+0.9166666666666666,6,AV,0,0,0,13,-0.8991666666666666,,"0,0"
+0.9333333333333333,8,AV,0,0,0,17,-0.8991666666666667,,"0,0"
+0.95,10,AV,0,0,0,21,-0.8991666666666669,,"0,0"
+0.95,12,AV,0,0,0,25,-0.8991666666666667,,"0,0"
+1.15,14,AV,1,0,0,29,-0.8991666666666666,,"0,0"
+0.95,16,AV,0,0,0,33,-0.8991666666666666,,"0,0"
+1.2166666666666666,18,AV,1,0,0,37,-0.8991666666666666,,"0,0"
+0.5,1,Human,0,0,0,3,-0.5,-0.5,"-0.49999999975133846,-0.5673866666666667"
+0.5333333333333333,3,Human,0,0,0,7,-0.5333333333333333,-0.5333333333333333,"-0.5333333330680944,-0.5489066666666667"
+0.6333333333333333,5,Human,0,0,0,11,-0.6333333333333333,-0.6333333333333333,"-0.6333333329533759,0.0"
+0.9333333333333333,7,Human,0,0,0,15,-0.9333333333333333,-0.65,"-0.6499999995649552,-0.7346880000000002"
+0.95,9,Human,0,0,0,19,-0.95,-0.7,"-0.7000000002504896,0.0"
+0.9333333333333333,11,Human,0,0,0,23,-0.9333333333333333,-0.6833333333333333,"-0.6833333339047954,0.0"
+0.95,13,Human,0,0,0,27,-0.95,-0.7,"-0.7000000001183333,-0.7387840000000001"
+0.95,15,Human,0,0,0,31,-0.95,-0.7666666666666667,"-0.7666666680304134,-0.8166880000000001"
+0.9666666666666667,17,Human,0,0,0,35,-0.9666666666666667,-0.8166666666666667,"-0.8166666671408468,-0.8576746666666669"
+1.2166666666666666,19,Human,0,0,0,39,-1.2166666666666666,-0.8333333333333334,"-0.8333333346375817,0.0"
diff --git a/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep103.csv b/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep103.csv
@@ -0,0 +1,21 @@
+travel_time,id,kind,action,origin,destination,start_time,reward,reward_right,cost_table
+0.4666666666666667,0,AV,0,0,0,1,-0.8016666666666665,,"0,0"
+0.9333333333333333,2,AV,1,0,0,5,-0.8016666666666665,,"0,0"
+0.55,4,AV,0,0,0,9,-0.8016666666666665,,"0,0"
+0.9833333333333333,6,AV,1,0,0,13,-0.8016666666666667,,"0,0"
+0.6666666666666666,8,AV,0,0,0,17,-0.8016666666666667,,"0,0"
+0.75,10,AV,0,0,0,21,-0.8016666666666667,,"0,0"
+1.0666666666666667,12,AV,1,0,0,25,-0.8016666666666665,,"0,0"
+0.7833333333333333,14,AV,0,0,0,29,-0.8016666666666665,,"0,0"
+1.2333333333333334,16,AV,1,0,0,33,-0.8016666666666667,,"0,0"
+1.2,18,AV,0,0,0,37,-0.8016666666666667,,"0,0"
+0.5333333333333333,1,Human,0,0,0,3,-0.5333333333333333,-0.5,"-0.49999999975133846,-0.5673866666666667"
+0.55,3,Human,0,0,0,7,-0.55,-0.5333333333333333,"-0.5333333330680944,-0.5489066666666667"
+0.6333333333333333,5,Human,0,0,0,11,-0.6333333333333333,-0.6333333333333333,"-0.6333333329533759,0.0"
+0.65,7,Human,0,0,0,15,-0.65,-0.65,"-0.6499999995649552,-0.7346880000000002"
+0.75,9,Human,0,0,0,19,-0.75,-0.7,"-0.7000000002504896,0.0"
+0.75,11,Human,0,0,0,23,-0.75,-0.6833333333333333,"-0.6833333339047954,0.0"
+0.7666666666666667,13,Human,0,0,0,27,-0.7666666666666667,-0.7,"-0.7000000001183333,-0.7387840000000001"
+0.7833333333333333,15,Human,0,0,0,31,-0.7833333333333333,-0.7666666666666667,"-0.7666666680304134,-0.8166880000000001"
+0.8,17,Human,0,0,0,35,-0.8,-0.8166666666666667,"-0.8166666671408468,-0.8576746666666669"
+1.1833333333333333,19,Human,0,0,0,39,-1.1833333333333333,-0.8333333333333334,"-0.8333333346375817,0.0"
diff --git a/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep104.csv b/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep104.csv
@@ -0,0 +1,21 @@
+travel_time,id,kind,action,origin,destination,start_time,reward,reward_right,cost_table
+0.4666666666666667,0,AV,0,0,0,1,-0.9308333333333334,,"0,0"
+0.5333333333333333,2,AV,0,0,0,5,-0.9308333333333334,,"0,0"
+0.95,4,AV,1,0,0,9,-0.9308333333333335,,"0,0"
+0.9666666666666667,6,AV,1,0,0,13,-0.9308333333333334,,"0,0"
+0.6666666666666666,8,AV,0,0,0,17,-0.9308333333333332,,"0,0"
+1.05,10,AV,1,0,0,21,-0.9308333333333334,,"0,0"
+1.0666666666666667,12,AV,1,0,0,25,-0.9308333333333334,,"0,0"
+1.1333333333333333,14,AV,1,0,0,29,-0.9308333333333334,,"0,0"
+1.2166666666666666,16,AV,0,0,0,33,-0.9308333333333334,,"0,0"
+1.2333333333333334,18,AV,1,0,0,37,-0.9308333333333334,,"0,0"
+0.5,1,Human,0,0,0,3,-0.5,-0.5,"-0.49999999975133846,-0.5673866666666667"
+0.5333333333333333,3,Human,0,0,0,7,-0.5333333333333333,-0.5333333333333333,"-0.5333333330680944,-0.5489066666666667"
+0.6333333333333333,5,Human,0,0,0,11,-0.6333333333333333,-0.6333333333333333,"-0.6333333329533759,0.0"
+0.65,7,Human,0,0,0,15,-0.65,-0.65,"-0.6499999995649552,-0.7346880000000002"
+0.7,9,Human,0,0,0,19,-0.7,-0.7,"-0.7000000002504896,0.0"
+1.2666666666666666,11,Human,0,0,0,23,-1.2666666666666666,-0.6833333333333333,"-0.6833333339047954,0.0"
+1.2333333333333334,13,Human,0,0,0,27,-1.2333333333333334,-0.7,"-0.7000000001183333,-0.7387840000000001"
+1.2166666666666666,15,Human,0,0,0,31,-1.2166666666666666,-0.7666666666666667,"-0.7666666680304134,-0.8166880000000001"
+1.3166666666666667,17,Human,0,0,0,35,-1.3166666666666667,-0.8166666666666667,"-0.8166666671408468,-0.8576746666666669"
+1.2833333333333334,19,Human,0,0,0,39,-1.2833333333333334,-0.8333333333333334,"-0.8333333346375817,0.0"
diff --git a/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep105.csv b/tutorials/SoftwareXExperiments/training_records_altruistic_human_learning/episodes/ep105.csv
@@ -0,0 +1,21 @@
+travel_time,id,kind,action,origin,destination,start_time,reward,reward_right,cost_table
+0.4666666666666667,0,AV,0,0,0,1,-0.99,,"0,0"
+0.95,2,AV,1,0,0,5,-0.99,,"0,0"
+0.95,4,AV,1,0,0,9,-0.99,,"0,0"
+0.9833333333333333,6,AV,1,0,0,13,-0.9899999999999999,,"0,0"
+0.65,8,AV,0,0,0,17,-0.99,,"0,0"
+1.0666666666666667,10,AV,0,0,0,21,-0.9899999999999999,,"0,0"
+1.0666666666666667,12,AV,1,0,0,25,-0.9899999999999999,,"0,0"
+1.1166666666666667,14,AV,1,0,0,29,-0.9899999999999999,,"0,0"
+1.3666666666666667,16,AV,0,0,0,33,-0.99,,"0,0"
+1.25,18,AV,1,0,0,37,-0.99,,"0,0"
+0.5333333333333333,1,Human,0,0,0,3,-0.5333333333333333,-0.5,"-0.49999999975133846,-0.5673866666666667"
+0.55,3,Human,0,0,0,7,-0.55,-0.5333333333333333,"-0.5333333330680944,-0.5489066666666667"
+0.6333333333333333,5,Human,0,0,0,11,-0.6333333333333333,-0.6333333333333333,"-0.6333333329533759,0.0"
+0.6666666666666666,7,Human,0,0,0,15,-0.6666666666666666,-0.65,"-0.6499999995649552,-0.7346880000000002"
+1.0666666666666667,9,Human,0,0,0,19,-1.0666666666666667,-0.7,"-0.7000000002504896,0.0"
+1.3,11,Human,0,0,0,23,-1.3,-0.6833333333333333,"-0.6833333339047954,0.0"
+1.2666666666666666,13,Human,0,0,0,27,-1.2666666666666666,-0.7,"-0.7000000001183333,-0.7387840000000001"
+1.25,15,Human,0,0,0,31,-1.25,-0.7666666666666667,"-0.7666666680304134,-0.8166880000000001"
+1.35,17,Human,0,0,0,35,-1.35,-0.8166666666666667,"-0.8166666671408468,-0.8576746666666669"
+1.3166666666666667,19,Human,0,0,0,39,-1.3166666666666667,-0.8333333333333334,"-0.8333333346375817,0.0"