Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Cria módulo de segmentação para suportar novos segmentadores #53

Merged
merged 1 commit into from
Nov 27, 2023
Merged

Cria módulo de segmentação para suportar novos segmentadores #53

merged 1 commit into from
Nov 27, 2023

Conversation

Jefersonalves
Copy link
Contributor

@Jefersonalves Jefersonalves commented Oct 14, 2023 •
edited
Loading

  • Cria a classe base da qual os segmentadores devem herdar e implementar os métodos (Criar classe base para os segmentadores #50)
  • Transforma o segmentador da AMA em uma classe. Isso foi feito sem alterar o modo de funcionamento do extrator, ele apenas foi reestruturado
  • Cria o módulo segmentation para armazenar arquivos que lidam com a segmentação
  • Cria um método de fábrica para recuperar os segmentadores

@Jefersonalves Jefersonalves changed the title Cria classe base para os segmentadores Cria módulo de segmentação para suportar novos segmentadores Nov 10, 2023
ogecece
ogecece requested changes Nov 21, 2023
View reviewed changes
Copy link
Member

@ogecece ogecece left a comment

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

@Jefersonalves tá aí o review! 🙌

segmentation/segmenters/al_associacao_municipios.py Outdated Show resolved Hide resolved
segmentation/factory.py Outdated Show resolved Hide resolved
segmentation/base/association_segmenter.py Outdated Show resolved Hide resolved
segmentation/factory.py Outdated Show resolved Hide resolved
segmentation/base/association_segmenter.py Outdated Show resolved Hide resolved
segmentation/segmenters/al_associacao_municipios.py Show resolved Hide resolved
@Jefersonalves
Copy link
Contributor Author

@ogecece Concluí as modificações sugeridas na revisão. Por favor, veja se já podemos seguir com o merge

@ogecece
Copy link
Member

ogecece commented Nov 23, 2023

@Jefersonalves podemos sim.

Vi que passou a usar a task.utils e me fez pensar que depois precisaremos reorganizar esses diretórios, movê-los para um src da vida e subir um nível esse utils. Mas podemos fazer isso depois.

Pode só atualizar a branch com o que tem de novo na prototype e resolver o conflito?

@Jefersonalves
Copy link
Contributor Author

@ogecece, posso fazer a modificação do utils na prototype.
Isso, pode fazer o merge na prototype e resolver somente o necessário para a mesclagem.
Vou ajustar as modificações na prototype, e ao finalizar, vou abrir um PR para a master

@ogecece ogecece force-pushed the base-segmenter branch 2 times, most recently from fc33bc6 to e29a30a Compare November 27, 2023 15:15
@Jefersonalves @ogecece
Cria módulo de segmentação para suportar novos segmentadores
14537e2 
- Cria módulo `segmentation` para organizar o código dos segmentadores
- O módulo segue o padrão de classe base e classes derivadas para cada
  segmentador específico
- O primeiro segmentador base é o `AssociationSegmenter` para segmentar
  documentos de associações de municípios
- Uma dataclass para segmentos `GazetteSegment` também foi criada
- Os segmentadores são instanciados por meio de uma fábrica
  `get_segmenter`
@ogecece ogecece merged commit 7c1ab81 into okfn-brasil:prototype Nov 27, 2023
@Jefersonalves Jefersonalves mentioned this pull request Nov 28, 2023
Merged
ogecece pushed a commit that referenced this pull request Nov 29, 2023
Consolida os trabalhos relativos à segmentação dos diários de associa…
646e8bf 
…ções (#62)

Combina e consolida os trabalhos realizados nos PRs #59 e #53, que
respectivamente, realizam a indexação de segmentos de diários extraídos
das associações e adicionam suporte a novos segmentadores no projeto
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers

@ogecece ogecece ogecece approved these changes

Assignees
No one assigned
Labels
hacktoberfest-accepted
Projects
[Querido Diário] Grupo de Trabalho - Processamento de Dados
Archived in project
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.
3 participants
@Jefersonalves @ogecece @trevineju