Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

INTERNAL: Add classes that implements BTreeSortMergeGetOperation.Callback. #507

Open
wants to merge 1 commit into
base: develop
Choose a base branch
from

Conversation

uhm0311
Copy link
Collaborator

@uhm0311 uhm0311 commented Jun 17, 2022

BTreeSortMergeGetOperation.Callback의 로직과 MultiOperationCallback의 로직이 맞는지 테스트 코드를 추가하기 위해 콜백을 class로 만들었습니다. class로 만들어진 콜백을 통해 테스트 코드를 작성하려고 합니다.

변경 사항은 다음과 같습니다.

  1. 새로운 class들
    • 기존에 new Callback()으로 구현하던 sort merge 로직을 클래스로 만들었습니다.
    • GlobalParams라는 내부 클래스를 사용해 매개변수를 받아오는데, 이 클래스는 두 가지 목적을 위해 만들어졌습니다.
      • 한 번의 연산이 한 번의 merged result를 만들어야 하므로, 노드 별로 분산되는 opreation과 callback이 하나의 merged result를 만들도록 하기 위해
      • 10개 초과의 매개변수를 갖도록 만들면 코드 스타일에서 컴파일 에러를 발생시키는 점을 방지하기 위해
        • GlobalParams 클래스 생성자의 List atomicBooleans라는 매개변수도 이러한 의도로 만들어졌습니다. Old smget의 경우 11개의 매개변수가 필요한데, 이를 10개로 줄이고자 List에 담도록 했습니다.
  2. ArcusClient
    • 기존에 new Callback()으로 구현하던 sort merge 로직을 제거하고 클래스로 만든 콜백 객체를 사용하도록 했습니다.
    • GlobalParams 객체를 smget 메소드에서 하나를 만들고 callback 객체들이 공유하여 사용하도록 했습니다.

Copy link
Collaborator

@hjyun328 hjyun328 left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

리뷰하였습니다.

import java.util.concurrent.atomic.AtomicInteger;
import java.util.concurrent.locks.ReentrantLock;

public class BTreeSMGetOperationCallback<T>
Copy link
Collaborator

@hjyun328 hjyun328 Jun 20, 2022

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

GlobalParams의 생성자의 인자들이 너무 많아서 줄이는 방향으로 수정되어야 할 것 같습니다.

lock과, processedSMGetCount는 Client쪽에서 사용되지 않는 필드이므로, 여기에 기본 필드로 두면 좋을 것 같습니다.

stopCollect, mergedTrim 변수도 마찬가지로 굳이 Client에 있을 필요가 없어서, GlobalParams의 기본 생성자에 인스턴스를 생성하여 전달해주거나, 기본 필드로 두고 생성해야 하겠습니다.

@uhm0311
Copy link
Collaborator Author

uhm0311 commented Jun 20, 2022

리뷰 반영했습니다.

public static class GlobalParams<T>
extends BaseBTreeSMGetOperationCallback.GlobalParams<T> {

private final AtomicBoolean mergedTrim = new AtomicBoolean(false);
Copy link
Collaborator

@hjyun328 hjyun328 Jun 20, 2022

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@uhm0311
mergedTrim을 BTreeSMGetOperationOldCallback의 필드로 이동하면 굳이 GlobalParam을 상속받지 않아도 될 것 같습니다.
추가로, lock, stopCollect, processedSMGetCount 필드도 BaseBTreeSMGetOperationCallback의 필드로 이동하는게 좋겠습니다.
위에 언급한 필드들은 개별 smget 연산에 관해서만 쓰이는 필드이기 때문에, 여러 smget 연산의 결과를 종합해서 결과를 도출하는 global param과 거리가 멀어보이는 param 같습니다.

Copy link
Collaborator Author

@uhm0311 uhm0311 Jun 20, 2022

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

해당 필드들은 1회의 smget API 호출에 대해 1개만 존재해야 하는 필드들입니다. 여러 node로 분산되어 처리될 연산들의 결과끼리 sort merge하여 1개의 merged result가 필요하기 때문입니다. 이 분산된 연산들은 각자 하나의 콜백을 갖습니다. 여러 콜백에 하나만 필요하다는 의미로 Global이라는 이름을 붙여서 사용했습니다.

@hjyun328
Copy link
Collaborator

@uhm0311 @jhpark816
리뷰 완료하였습니다.

@uhm0311 uhm0311 force-pushed the develop branch 2 times, most recently from 07918e6 to ae2a82f Compare April 2, 2024 07:53
@uhm0311 uhm0311 self-assigned this May 9, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants