Tilføj tidsserie-modul (fire.api.ts) #547

xidus · 2022-01-13T14:10:18Z

Disse ændringer er indtil videre i draft-status.

Det skyldes, at arbejdet stadig pågår, herunder endelig brug af ændringer, som @kbevers har lavet til datamodellen, som betyder, at de eksplicitte SQL-forespørgsler i dette PR skal oversættes til tilsvarende ORM-forespørgsler.

Ændringerne i dette PR føjer følgende API til FIRE:

Gør det muligt at hente eksisterende tidsserie.
Gør det muligt at hente seneste/udvalgte observationer af punkter i tidsseriens punktsamling.
Gør det muligt at beregne koter (med GNU Gama) for disse observerede punkter, så de kan indgå som et nyt tidsskridt for hvert observereret punkt i punktsamlingens tidsserie.
Gør det muligt at lægge de nye tidsskridt ind i FIRE-databasen, så tidsserien derved opdateres.

xidus · 2022-01-13T14:20:37Z

Eksempel på anvendelse, som koden ser ud nu:

from fire.api import ts
punkt_id = 'fb89d73a-c2a5-4fd6-974f-1fff650f5a66'
mulige = ts.hent_mulige_tidsserier(punkt_id)
mulige
# [('TS:81007', 11),
#  ('EPSG:25832', 8),
#  ('EPSG:4937', 7),
#  ('EPSG:5799', 2),
#  ('DK:S34S', 2),
#  ('DK:GI44', 2),
#  ('TS:BUDP', 1),
#  ('EPSG:4258', 1)]

# Der er en tidsserie med SRID TS:81007
jessen_id = '81007'
tidsserie = ts.hent_tidsserie(jessen_id)

# Hent observationer fra opmålingsperiode ud fra punktgruppen i tidsserien
punktgruppe = sorted(set(tidsserie.punkt_id))
observationer_punktgruppe = ts.hent_observationer_af_punktgruppe(punktgruppe, dato_fra='2018-05-01', dato_til='2018-11-01')

# Hent observationer fra opmålingsperiode ud fra jessen_id (tidsserie-ID'et)
observationer_tidsserie = ts.hent_observationer_for_tidsserie(jessen_id, dato_fra='2018-05-01', dato_til='2018-11-01')

# Check, at de to resultatsæt er ens
all(observationer_punktgruppe == observationer_tidsserie)
# True

# Relativ kote
g = tidsserie
g['residual'] = g.kote - g[g.jessen_id == jessen_id].kote[0]

# Plot ...
# (...)

busstoptaktik

Lidt løse kommentarer. Ikke alle er reelt relevante på dette stadie i kodens udviklingshistorie, men måske anvendelige til overvejelse omkring den videre udvikling?

busstoptaktik · 2022-01-14T08:55:00Z

fire/api/ts/__init__.py

+    return pd.DataFrame(columns=datacls.__annotations__).astype(datacls.__annotations__)
+
+
+def dataframe(datacls):


Pissesmart!!

busstoptaktik · 2022-01-14T08:58:58Z

fire/api/ts/__init__.py

+
+# --- TEMP
+
+# ENV_DB = 'test'


Det ville väre rart med en kommentar her: Man skal helt ned og læse logikken i get_db() før man kan se meningen

busstoptaktik · 2022-01-14T09:06:52Z

fire/api/ts/__init__.py

+# --- TEMP
+
+# ENV_DB = 'test'
+ENV_DB = 'prod'


ENV_DB: Final = 'prod'

Nå - jeg kan se at en kommentar oppe i toppen er drattet ud, med dekontekstualisering af denne kommentar til følge.

Det jeg mente var at typeannotationen Final markerer en konstant. Final bør derfor importeres sammen med Iterable i dit from typing import udtryk

Ahh, nice, den kendte jeg ikke... :)

busstoptaktik · 2022-01-14T09:07:03Z

fire/api/ts/__init__.py

+
+import datetime as dt
+from dataclasses import dataclass
+from typing import Iterable


Det vil nok være en god idé også at importere Final fra typing, da du benytter konstanter

Hov, nej, her kom den jo...

busstoptaktik · 2022-01-14T09:09:09Z

fire/api/ts/__init__.py

+
+# ENV_DB = 'test'
+ENV_DB = 'prod'
+DB = None


DB er ikke en konstant, og bør derfor hedde db iflg dette afsnit af PEP8

busstoptaktik · 2022-01-14T09:28:48Z

fire/api/ts/__init__.py

+    WHERE pit.infotype = 'IDENT:landsnr'
+)
+SELECT
+    p.id AS punkt_id,


... og dog: Er dette rent faktisk en anvendelse, eller bare definition af en ny punkt_id?

busstoptaktik · 2022-01-14T09:29:29Z

fire/api/ts/__init__.py

+    k.t AS dato,
+    k.z AS kote,


Jeg er i hvert fald ret sikker på at disse to AS ikke anvendes

@busstoptaktik selvom AS-aliasserne ikke nødvendigvis bruges direkte i SQL-koden kan det godt give mening. Det er også en måde at omdøbe kolonnerne i sit output, se fx her:

busstoptaktik · 2022-01-14T09:31:11Z

fire/api/ts/__init__.py

+    # return ny_df(TidsseriePost).append(data) # .astype(TidsseriePost)
+
+
+def hent_observationer_af_punktgruppe(punktgruppe: Iterable[str], dato_fra: dt.datetime = None, dato_til: dt.datetime = None, full_print: bool = False) -> pd.DataFrame:


hent_observationer_i_punktgruppe ville være et mere retvisende navn, da den enkelte observation er "i" og vi ikke altod har obs af hele gruppen

Tak, jeg overvejede også semantikken til disse funktioner, men var ikke helt tilfreds. Jeg ser på det.

busstoptaktik · 2022-01-14T09:35:04Z

fire/api/ts/__init__.py

+    *   Punkgruppen er større end to punkter, da nedenstående forespørgsel ikke dur uden mindst to punkter, der er observeret mellem i løbet af det angivne tidsrum.    
+    """
+    # Start et halvt år tilbage, hvis én eller begge datoer i tidsrummet mangler.
+    # TODO: Genbesøg detaljer, når resten er klar.


God idé :-)

busstoptaktik · 2022-01-14T09:39:59Z

fire/api/ts/__init__.py

+    p.id = '{punkt_id}'
+"""
+    print(sql)
+    return fetchall(sql)


Det ser ud som om der mangler et linjeskift her

xidus · 2022-01-21T08:24:07Z

Jeg undlader commits med ændringer til _netoversigt i den endelige rebase.

kbevers · 2022-01-21T08:36:54Z

Lige nu er det lidt svært at overskue koden her. Det ser ud som om der bliver foretaget to overordnede ting: 1) refaktorisering af regneark/dataframes og 2) tidsseriehåndtering. Måske det er en fordel at dele dem op i to separate pull requests?

Tilføj udviklervenlige klasser, så vi har ét sted har de tekststrenge, der angiver kolonnerne i arkene. Undgår desuden run-time-fejl når de bruges i resten af koden.

… nyt modul fire.io.ts.post. Resten er tilhørende opdateringer.

…rie-modulet.

xidus linked an issue Jan 13, 2022 that may be closed by this pull request

Indledende understøttelse af tidsserieberegninger #539

Open

9 tasks

xidus changed the title ~~Tilføj tidsserie-modul (fire.api.ts) [ci skip].~~ Tilføj tidsserie-modul (fire.api.ts) Jan 13, 2022

busstoptaktik reviewed Jan 14, 2022

View reviewed changes

xidus force-pushed the feat/ts/niv branch 2 times, most recently from c5721ce to 9d7e9e3 Compare February 15, 2022 07:56

xidus self-assigned this Feb 15, 2022

xidus linked an issue Feb 15, 2022 that may be closed by this pull request

Resterende arbejde på prototype til at oprette tidsserieskridt til nivellementtidsserie #553

Open

Joachim Mortensen added 13 commits June 22, 2022 09:59

Tilføj tidsserie-modul (fire.api.ts) [ci skip].

a0d4f4d

Flyt fire.io.regneark.arkdef til fire.io.arkdef.

45092b5

Flyt fire.api.ts til fire.io.ts

4fc911c

Tilføj flere kolonner til resultat i SQL-forespørgsel.

0d23ef2

Udvid modul arkdef til mappe med undermoduler.

5ffe655

Tilføj udviklervenlige klasser, så vi har ét sted har de tekststrenge, der angiver kolonnerne i arkene. Undgår desuden run-time-fejl når de bruges i resten af koden.

Anvend fire.io.arkdef.kolonne i funktioner.

da617f2

Tilføj fire.io.ts.query, så SQL-sætninger kommer væk fra funktioner.

344f56d

Adskil arkdef-funktionalitet fra regnearks-håndtering.

29b3917

Reducér underpakke fire.io.regneark til enkelt modul.

db3e10a

Tilføj oversættelse af ObservationsPost til arkdef.OBSERVATIONER samt…

d32e247

… nyt modul fire.io.ts.post. Resten er tilhørende opdateringer.

Tilpasninger og opsætning af data til GAMA-beregning [ci skip].

9b15ea6

Tilføj GamaBeregner og dependency-injection-funktionalitet for tidsse…

6603f17

…rie-modulet.

Imødekom krav fra statisk kodeanalyse-værktøj (mypy) (fire.io.ts kun).

89926ac

xidus force-pushed the feat/ts/niv branch from 9d7e9e3 to 89926ac Compare June 22, 2022 08:16

Tilføj decorators automap og automap_pandas til dataklasser.

0fc3e27

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Tilføj tidsserie-modul (fire.api.ts) #547

Tilføj tidsserie-modul (fire.api.ts) #547

xidus commented Jan 13, 2022 •

edited

Loading

xidus commented Jan 13, 2022 •

edited by busstoptaktik

Loading

busstoptaktik left a comment

busstoptaktik Jan 14, 2022

busstoptaktik Jan 14, 2022

busstoptaktik Jan 14, 2022

busstoptaktik Jan 14, 2022

busstoptaktik Jan 14, 2022

xidus Jan 14, 2022

busstoptaktik Jan 14, 2022

busstoptaktik Jan 14, 2022

busstoptaktik Jan 14, 2022

busstoptaktik Jan 14, 2022

busstoptaktik Jan 14, 2022

kbevers Jan 14, 2022

busstoptaktik Jan 15, 2022

busstoptaktik Jan 14, 2022

xidus Jan 14, 2022

busstoptaktik Jan 14, 2022

busstoptaktik Jan 14, 2022

xidus commented Jan 21, 2022

kbevers commented Jan 21, 2022

		return pd.DataFrame(columns=datacls.__annotations__).astype(datacls.__annotations__)


		def dataframe(datacls):

		# return ny_df(TidsseriePost).append(data) # .astype(TidsseriePost)


		def hent_observationer_af_punktgruppe(punktgruppe: Iterable[str], dato_fra: dt.datetime = None, dato_til: dt.datetime = None, full_print: bool = False) -> pd.DataFrame:

Tilføj tidsserie-modul (fire.api.ts) #547

Are you sure you want to change the base?

Tilføj tidsserie-modul (fire.api.ts) #547

Conversation

xidus commented Jan 13, 2022 • edited Loading

xidus commented Jan 13, 2022 • edited by busstoptaktik Loading

busstoptaktik left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

xidus commented Jan 21, 2022

kbevers commented Jan 21, 2022

xidus commented Jan 13, 2022 •

edited

Loading

xidus commented Jan 13, 2022 •

edited by busstoptaktik

Loading