Optimization CPU #145
Open
Optimization CPU #145
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
added 11 commits
May 5, 2024 10:40
spajic
reviewed
May 9, 2024
| @@ -0,0 +1,9 @@ | |||
| data_large.txt | |||
spajic
reviewed
May 9, 2024
|
|
||
| 1. Подготовил тест для защиты метрики от деградации. В нём проверяется время выполнения программы, ips и асимптотика *(performance_spec.rb)* | ||
| 2. Подготовил проверку производительности программы, в которой вычисляется время выполнения программы с (1, 2, 4, 8, 16) * 1000 строк, и проверяется ips на 8 * 1000 строк. В ходе оптимизации программы эти коэффициенты будут увеличиваться *(benchmark.rb)*. | ||
| 3. Подготовил файлы для профилирования: |
There was a problem hiding this comment.
👍 лайк за создание удобства для себя
spajic
reviewed
May 9, 2024
| - stackprof.rb - генеруирует отчёты для командной строки и JSON для speedscope | ||
| - work-method.rb - копия оптимизируемой программы, но с отключённым GC и возможностью в виде аргумента задавать файл с разными количествами строк | ||
|
|
||
| Благодаря такой подготовке я могу быстро проверять гипотезы при профилировании и тестировать полученные результаты в ходе реального выполнения программы. |
spajic
reviewed
May 9, 2024
| ≈ 11.616 × 21852 | ||
| ≈ 253839.792 секунд | ||
|
|
||
| Это примерно 253839.792 / 3600 ≈ 70.51 часов. |
spajic
reviewed
May 9, 2024
| - Все профилировщики показывают самое проблемной место - Array#select (**67%**) в котором для каждого пользователя перебирается весь массив сессий, что приводит к асимптотической сложности сложности порядка O(n*m), где n - число пользователей, а m - число сессий. | ||
| - Чтобы улучшить производительность создал вспомогательную хэш-таблицу в которой сгруппировал сессии по *user_id* | ||
| - Получил значительный прирост в скорости: на 16 000 строках было 7,3сек, стало 0,7сек. | ||
| - Данный метод перестал являться точкой роста. |
There was a problem hiding this comment.
и тут асимптотика становится лучше, и можно переприкинуть расчёты
spajic
reviewed
May 9, 2024
| ### Ваша находка №2 | ||
| - Ruby-prof: flat, graph, callstack показали следующую точку роста - сложение массивов - Array#+ (**33%**). Это занимает много времени т.к. каждый раз инициализируется новый массив. Сложение вызывается в 3-х местах. | ||
| - Использую **map** для обработки users_objects | ||
| - 16 000 строк - было 0,7сек, стало 0,5 сек. |
There was a problem hiding this comment.
Хорошо подбирать объём данных так, чтобы программа успевала покрутиться пару секунд. Если она завершается слишком быстро (“не успевает поработать”) могут возникнуть какие-то перекосы (например, на полном объёме основная часть времени тратится в основном цикле, а если данных мало - то большая часть уходит на инициализацию и финализацию, например на чтение из файла и запись потом в файл)
И плюс когда время уже на миллисекунды - больше влияние погрешностей.
spajic
reviewed
May 9, 2024
| В результате проделанной оптимизации наконец удалось обработать файл с данными. | ||
| Удалось улучшить метрику системы с 70.51 часов (ориентировочно) до 32 секунд и практически уложиться в заданный бюджет. | ||
|
|
||
| Самое главное - сумел организовать рабочий процесс по оптимизации программы с помощью фреймворка оптимизации. Разобрался как формировать и фиксировать метрики, быстро проверять гипотезы и выстраивать эффективный feedback-loop! |
spajic
reviewed
May 9, 2024
| Самое главное - сумел организовать рабочий процесс по оптимизации программы с помощью фреймворка оптимизации. Разобрался как формировать и фиксировать метрики, быстро проверять гипотезы и выстраивать эффективный feedback-loop! | ||
|
|
||
| ## Защита от регрессии производительности | ||
| Для защиты от потери достигнутого прогресса при дальнейших изменениях программы gодготовил тест *(performance_spec.rb)* для защиты метрики от деградации. В нём проверяется время выполнения программы, ips и асимптотика. |
spajic
reviewed
May 9, 2024
| report['usersStats'][user_key] ||= {} | ||
| report['usersStats'][user_key] = report['usersStats'][user_key].merge(block.call(user)) | ||
| end | ||
| end | ||
|
|
||
| def work | ||
| progressbar = ProgressBar.create( |
There was a problem hiding this comment.
надо иметь в виду что прогресс-бар может тормозить, особенно если постоянно его дёргать
spajic
reviewed
May 9, 2024
| uniqueBrowsers += [browser] if uniqueBrowsers.all? { |b| b != browser } | ||
| end | ||
|
|
||
| uniqueBrowsers = sessions.map { |s| s['browser'] }.uniq |
There was a problem hiding this comment.
я бы их в Set просто напихивал
spajic
approved these changes
May 9, 2024
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
No description provided.