diff --git a/src/petals/server/server.py b/src/petals/server/server.py index ab646a5f4..5f4ae7bf9 100644 --- a/src/petals/server/server.py +++ b/src/petals/server/server.py @@ -414,7 +414,24 @@ def _should_choose_other_blocks(self) -> bool: return False module_infos = get_remote_module_infos(self.dht, self.module_uids, latest=True) - return block_selection.should_choose_other_blocks(self.dht.peer_id, module_infos, self.balance_quality) + should_choose = block_selection.should_choose_other_blocks(self.dht.peer_id, module_infos, self.balance_quality) + + if False == should_choose: + return False + else: + for i in range(2): + wait_time = 90 + random.randint(-30, 10) + time.sleep(wait_time) + + module_infos = get_remote_module_infos(self.dht, self.module_uids, latest=True) + logger.info('--retrying should_choose_other_blocks') + should_choose = block_selection.should_choose_other_blocks(self.dht.peer_id, module_infos, self.balance_quality) + + if False == should_choose: + return False + + return should_choose + def shutdown(self, timeout: Optional[float] = 5): self.stop.set() diff --git a/tests/__init__.py b/tests/__init__.py new file mode 100644 index 000000000..e69de29bb diff --git a/tests/test_block_selection.py b/tests/test_block_selection.py new file mode 100644 index 000000000..1f81bdcbf --- /dev/null +++ b/tests/test_block_selection.py @@ -0,0 +1,1208 @@ +import unittest +import codecs + +from petals.server import block_selection +from petals.server.block_selection import Span +from hivemind.p2p import PeerID +from petals.data_structures import ServerInfo, RemoteModuleInfo, RPS, ServerState +from dataclasses import dataclass +from typing import Optional, List +import numpy as np +from petals.dht_utils import get_remote_module_infos +from hivemind import DHT + +from rich.pretty import pprint + +class TestBlockSelection(unittest.TestCase): + + def test_llama65b_infinite_restart_01(self): + num_total_blocks = 80 + module_infos: List[Optional[RemoteModuleInfo]] = [None] * num_total_blocks + + server1_id = "12D3" + server1_id_bytes = codecs.encode(server1_id, 'utf-8') + server1_PeerID = PeerID(server1_id_bytes) + + server2_id = "hj23" + server2_id_bytes = codecs.encode(server2_id, 'utf-8') + server2_PeerID = PeerID(server2_id_bytes) + + server3_id = "12Yh3" + server3_id_bytes = codecs.encode(server3_id, 'utf-8') + server3_PeerID = PeerID(server3_id_bytes) + + server4_id = "542D3" + server4_id_bytes = codecs.encode(server4_id, 'utf-8') + server4_PeerID = PeerID(server4_id_bytes) + + server5_id = "1hk2D3" + server5_id_bytes = codecs.encode(server5_id, 'utf-8') + server5_PeerID = PeerID(server5_id_bytes) + + server6_id = "5412D3" + server6_id_bytes = codecs.encode(server6_id, 'utf-8') + server6_PeerID = PeerID(server6_id_bytes) + + server7_id = "dft12D3" + server7_id_bytes = codecs.encode(server7_id, 'utf-8') + server7_PeerID = PeerID(server7_id_bytes) + + servers = {} + + servers[0] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[1] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[2] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[3] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[4] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[5] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[6] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[7] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + } + + servers[8] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[9] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[10] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[11] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[12] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[13] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[14] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + } + + servers[15] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[16] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[17] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[18] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + } + + servers[19] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server3_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1723.5781832870298), + ), + } + + servers[20] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + } + + servers[21] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server4_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(3154.063460812297), + ), + } + + servers[22] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[23] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server4_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(3154.063460812297), + ), + } + + servers[24] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server4_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(3154.063460812297), + ), + } + + servers[25] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[26] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[27] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server4_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(3154.063460812297), + ), + } + + servers[28] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server4_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(3154.063460812297), + ), + } + + servers[29] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server4_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(3154.063460812297), + ), + } + + + servers[30] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + } + + servers[31] = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[32] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(762.939453125), + ), + } + + servers[33] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server4_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(3154.063460812297), + ), + } + + servers[34] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server4_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(3154.063460812297), + ), + } + + servers[35] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[36] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[37] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server4_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(3154.063460812297), + ), + } + + servers[38] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[39] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[40] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[41] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[42] = { + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[43] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[44] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[45] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + + servers[46] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[47] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server6_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1843.87298726553), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[48] = { + server6_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1843.87298726553), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[49] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server6_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1843.87298726553), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[50] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server6_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1843.87298726553), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[51] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server6_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1843.87298726553), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[52] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server6_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1843.87298726553), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + servers[53] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server6_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1843.87298726553), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[54] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server6_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1843.87298726553), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[55] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + server6_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1843.87298726553), + ), + } + + servers[56] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server6_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1843.87298726553), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[57] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[58] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[59] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server7_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2203.28331063272), + ), + } + + servers[60] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + + servers[61] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[62] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[63] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[64] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[65] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[66] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + + servers[67] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[68] = { + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[69] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[70] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[71] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[72] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + + servers[73] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[74] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[75] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[76] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[77] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + servers[78] = { + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + } + + servers[79] = { + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(696.5283411730552), + ), + server5_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(2235.7226389647903), + ), + } + + for i in range(len(servers)): + uid = f"llama-65b-hf.{i}" + module_info = RemoteModuleInfo( + uid=uid, + servers=servers[i], + ) + module_infos[i] = module_info + + r = block_selection.should_choose_other_blocks( + server1_PeerID, #local_peer_id + module_infos, + .75 + ) + print(r) + + spans, throughputs = block_selection.compute_spans(module_infos) + print(throughputs) + + + eps = 1e-3 + local_span = spans[server1_PeerID] + throughputs[local_span.start : local_span.end] -= local_span.throughput * (1 + eps) + new_start = block_selection._choose_best_start(throughputs, local_span.length) + print(throughputs) + + + def test_choose_best_start(self): + + throughputs = np.ones(24) + throughputs[15:] = 0 + # throughputs looks like this: + # [1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.] + # print(throughputs) + # num_blocks_local_server is the number of blocks the local server runs: + num_blocks_local_server = 2 + start = block_selection._choose_best_start(throughputs, num_blocks_local_server) + self.assertEqual(start, 15) + + + def test_should_choose_other_blocks(self): + num_total_blocks = 24; + num_blocks = 16; + module_infos: List[Optional[RemoteModuleInfo]] = [None] * num_total_blocks + + server1_id = "12D3" + server1_id_bytes = codecs.encode(server1_id, 'utf-8') + server1_PeerID = PeerID(server1_id_bytes) + + server2_id = "43WB" + server2_id_bytes = codecs.encode(server2_id, 'utf-8') + server2_PeerID = PeerID(server2_id_bytes) + + for i in range(num_blocks): + uid = f"bigscience/bloom-560m-petals.{i}" + + # Dict[PeerID, ServerInfo] + servers = { + server1_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1), + ), + + server2_PeerID: ServerInfo( + state=ServerState.ONLINE, + throughput=RPS(1), + ), + } + + module_info = RemoteModuleInfo( + uid=uid, + servers=servers, + ) + + module_infos[i] = module_info + + + # pprint(module_infos) + spans, throughputs = block_selection.compute_spans(module_infos) + + throughputs_t = np.ones(24) + throughputs_t[:16] = 2 + throughputs_t[16:] = 0 + + np.testing.assert_array_equal(throughputs, throughputs_t) + + eps = 1e-3 + local_span = spans[server1_PeerID] + throughputs[local_span.start : local_span.end] -= local_span.throughput * (1 + eps) + new_start = block_selection._choose_best_start(throughputs, local_span.length) + # there are 24 blocks and the local server can serve 16, so should start at 8: + self.assertEqual(8, new_start) + + r = block_selection.should_choose_other_blocks( + server1_PeerID, #local_peer_id + module_infos, + .75 + ) + + # pprint(r) + self.assertTrue(r) + + + + + # module_infos are made of RemoteModuleInfo's equal to the number of blocks on the model + + # "RemoteModuleInfo(uid=""bigscience/bloom-560m-petals.12", + # the 12 at the end of that line is the block number (zero-indexed) + # "servers="{ + # this lists the servers that serve this block (block 12, in this case) + # "":"ServerInfo(state=, + # throughput=1.0, + # "public_name=None", + # "version=""2.0.1", + # "network_rps=None", + # "forward_rps=None", + # "inference_rps=None", + # "adapters=(""artek0chumak/bloom-560m-safe-peft", + # ")", + # "torch_dtype=""float32", + # "quant_type=""none", + # "using_relay=False", + # cache_tokens_left=32768, + # "next_pings="{ + # "12D3KooWCxzU7o1FNJHg9bgYK5ucYkVFcAQ7TDGYfxg27aUaNz9d":"inf" + # }")", + # "":"ServerInfo(state=, + # throughput=1.0, + # "public_name=None", + # "version=""2.0.1", + # "network_rps=None", + # "forward_rps=None", + # "inference_rps=None", + # "adapters=(""artek0chumak/bloom-560m-safe-peft", + # ")", + # "torch_dtype=""float32", + # "quant_type=""none", + # "using_relay=False", + # cache_tokens_left=32768, + # "next_pings=None)" + # }")", + + + + diff --git a/tests/test_block_selection_data b/tests/test_block_selection_data new file mode 100644 index 000000000..939b43ea1 --- /dev/null +++ b/tests/test_block_selection_data @@ -0,0 +1,4141 @@ +this data comes from module_infos from llama-65b as it ran through an infinite loop of choosing other blocks after finding a swarm balance quality of 47.7% and then choosing the same blocks that it had originally + [ + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.0', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=k, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.1', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.2', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.3', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.4', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.5', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.6', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.7', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.8', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.9', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.10', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.11', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.12', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.13', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.14', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.15', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.16', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.17', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.18', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.19', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1723.5781832870298, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1723.5781832870298, + │ │ │ │ forward_rps=236996.00710523955, + │ │ │ │ inference_rps=362.2481260701112, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server1': 0.3233465197944277, + │ │ │ │ │ server2_PeerID: 0.08887508607785616 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.20', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.21', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=3154.063460812297, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=None, + │ │ │ │ forward_rps=31540.634608122968, + │ │ │ │ inference_rps=489.1779648024173, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=76114, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03404902645657837, + │ │ │ │ │ 'server7': 0.05028543718671172, + │ │ │ │ │ 'server1': 0.28872436304810034 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.22', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.23', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=3154.063460812297, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=None, + │ │ │ │ forward_rps=31540.634608122968, + │ │ │ │ inference_rps=489.1779648024173, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=76114, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03404902645657837, + │ │ │ │ │ 'server7': 0.05028543718671172, + │ │ │ │ │ 'server1': 0.28872436304810034 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.24', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=3154.063460812297, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=None, + │ │ │ │ forward_rps=31540.634608122968, + │ │ │ │ inference_rps=489.1779648024173, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=76114, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03404902645657837, + │ │ │ │ │ 'server7': 0.05028543718671172, + │ │ │ │ │ 'server1': 0.28872436304810034 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.25', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.26', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.27', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=3154.063460812297, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=None, + │ │ │ │ forward_rps=31540.634608122968, + │ │ │ │ inference_rps=489.1779648024173, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=76114, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03404902645657837, + │ │ │ │ │ 'server7': 0.05028543718671172, + │ │ │ │ │ 'server1': 0.28872436304810034 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.28', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=3154.063460812297, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=None, + │ │ │ │ forward_rps=31540.634608122968, + │ │ │ │ inference_rps=489.1779648024173, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=76114, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03404902645657837, + │ │ │ │ │ 'server7': 0.05028543718671172, + │ │ │ │ │ 'server1': 0.28872436304810034 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.29', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=3154.063460812297, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=None, + │ │ │ │ forward_rps=31540.634608122968, + │ │ │ │ inference_rps=489.1779648024173, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=76114, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03404902645657837, + │ │ │ │ │ 'server7': 0.05028543718671172, + │ │ │ │ │ 'server1': 0.28872436304810034 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.30', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.31', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.32', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=762.939453125, + │ │ │ │ public_name='https://100wires.com', + │ │ │ │ version='2.0.1.post1', + │ │ │ │ network_rps=762.939453125, + │ │ │ │ forward_rps=403396.67882219184, + │ │ │ │ inference_rps=518.954194789193, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=540672, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.3522874109697275, + │ │ │ │ │ server2_PeerID: 0.174999551528989, + │ │ │ │ │ server4_PeerID: 0.517533924095428 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.33', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=3154.063460812297, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=None, + │ │ │ │ forward_rps=31540.634608122968, + │ │ │ │ inference_rps=489.1779648024173, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=76114, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03404902645657837, + │ │ │ │ │ 'server7': 0.05028543718671172, + │ │ │ │ │ 'server1': 0.28872436304810034 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.34', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=3154.063460812297, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=None, + │ │ │ │ forward_rps=31540.634608122968, + │ │ │ │ inference_rps=489.1779648024173, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=76114, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03404902645657837, + │ │ │ │ │ 'server7': 0.05028543718671172, + │ │ │ │ │ 'server1': 0.28872436304810034 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.35', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.36', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.37', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=3154.063460812297, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=None, + │ │ │ │ forward_rps=31540.634608122968, + │ │ │ │ inference_rps=489.1779648024173, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=76114, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03404902645657837, + │ │ │ │ │ 'server7': 0.05028543718671172, + │ │ │ │ │ 'server1': 0.28872436304810034 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.38', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.39', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.40', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.41', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.42', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.43', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.44', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.45', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.46', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.47', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1843.87298726553, + │ │ │ │ public_name=None, + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1843.87298726553, + │ │ │ │ forward_rps=1323938.579623994, + │ │ │ │ inference_rps=272.56280142101735, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=40960, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03526929598266443, + │ │ │ │ │ 'server7': 0.06578319937104085 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.48', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1843.87298726553, + │ │ │ │ public_name=None, + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1843.87298726553, + │ │ │ │ forward_rps=1323938.579623994, + │ │ │ │ inference_rps=272.56280142101735, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=40960, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03526929598266443, + │ │ │ │ │ 'server7': 0.06578319937104085 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.49', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1843.87298726553, + │ │ │ │ public_name=None, + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1843.87298726553, + │ │ │ │ forward_rps=1323938.579623994, + │ │ │ │ inference_rps=272.56280142101735, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=40960, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03526929598266443, + │ │ │ │ │ 'server7': 0.06578319937104085 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.50', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1843.87298726553, + │ │ │ │ public_name=None, + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1843.87298726553, + │ │ │ │ forward_rps=1323938.579623994, + │ │ │ │ inference_rps=272.56280142101735, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=40960, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03526929598266443, + │ │ │ │ │ 'server7': 0.06578319937104085 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.51', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1843.87298726553, + │ │ │ │ public_name=None, + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1843.87298726553, + │ │ │ │ forward_rps=1323938.579623994, + │ │ │ │ inference_rps=272.56280142101735, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=40960, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03526929598266443, + │ │ │ │ │ 'server7': 0.06578319937104085 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.52', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1843.87298726553, + │ │ │ │ public_name=None, + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1843.87298726553, + │ │ │ │ forward_rps=1323938.579623994, + │ │ │ │ inference_rps=272.56280142101735, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=40960, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03526929598266443, + │ │ │ │ │ 'server7': 0.06578319937104085 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.53', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1843.87298726553, + │ │ │ │ public_name=None, + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1843.87298726553, + │ │ │ │ forward_rps=1323938.579623994, + │ │ │ │ inference_rps=272.56280142101735, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=40960, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03526929598266443, + │ │ │ │ │ 'server7': 0.06578319937104085 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.54', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1843.87298726553, + │ │ │ │ public_name=None, + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1843.87298726553, + │ │ │ │ forward_rps=1323938.579623994, + │ │ │ │ inference_rps=272.56280142101735, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=40960, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03526929598266443, + │ │ │ │ │ 'server7': 0.06578319937104085 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.55', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1843.87298726553, + │ │ │ │ public_name=None, + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1843.87298726553, + │ │ │ │ forward_rps=1323938.579623994, + │ │ │ │ inference_rps=272.56280142101735, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=40960, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03526929598266443, + │ │ │ │ │ 'server7': 0.06578319937104085 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.56', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=1843.87298726553, + │ │ │ │ public_name=None, + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=1843.87298726553, + │ │ │ │ forward_rps=1323938.579623994, + │ │ │ │ inference_rps=272.56280142101735, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=40960, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.03526929598266443, + │ │ │ │ │ 'server7': 0.06578319937104085 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.57', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.58', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.59', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2203.28331063272, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2203.28331063272, + │ │ │ │ forward_rps=271960.0070090508, + │ │ │ │ inference_rps=508.16437981575893, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ 'server6': 0.05739172527083482, + │ │ │ │ │ 'server5': 0.0025458695964836967, + │ │ │ │ │ server2_PeerID: 0.08240282397267884 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.60', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.61', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.62', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.63', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09513175018190144 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.64', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.65', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09513175018190144 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.66', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09513175018190144 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.67', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.68', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09513175018190144 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.69', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.70', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.71', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.72', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.73', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.74', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.75', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.76', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.77', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09513175018190144 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.78', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ), + │ RemoteModuleInfo( + │ │ uid='llama-65b-hf.79', + │ │ servers={ + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=696.5283411730552, + │ │ │ │ public_name='nora', + │ │ │ │ version='2.0.1', + │ │ │ │ network_rps=696.5283411730552, + │ │ │ │ forward_rps=468118.39927084144, + │ │ │ │ inference_rps=565.3898428324851, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=327680, + │ │ │ │ next_pings={ + │ │ │ │ │ server3_PeerID: 0.08417929104828234, + │ │ │ │ │ 'server5': 0.08157555941760541, + │ │ │ │ │ 'server1': 0.1751510147404671, + │ │ │ │ │ server4_PeerID: 0.03520378538668156, + │ │ │ │ │ 'server6': 0.03510849550366402 + │ │ │ │ } + │ │ │ ), + │ │ │ : ServerInfo( + │ │ │ │ state=, + │ │ │ │ throughput=2235.7226389647903, + │ │ │ │ public_name='https://www.genesiscloud.com/', + │ │ │ │ version='2.0.0.post2', + │ │ │ │ network_rps=2235.7226389647903, + │ │ │ │ forward_rps=253598.4983006539, + │ │ │ │ inference_rps=485.43750353302534, + │ │ │ │ adapters=('timdettmers/guanaco-65b',), + │ │ │ │ torch_dtype='float16', + │ │ │ │ quant_type='nf4', + │ │ │ │ using_relay=False, + │ │ │ │ cache_tokens_left=81920, + │ │ │ │ next_pings={ + │ │ │ │ │ server2_PeerID: 0.09878983274175225 + │ │ │ │ } + │ │ │ ) + │ │ } + │ ) + ]