Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Maps API Anfragen minimieren / OpenStreetMaps #3

Open
van-den-Berg opened this issue Mar 24, 2020 · 4 comments
Open

Maps API Anfragen minimieren / OpenStreetMaps #3

van-den-Berg opened this issue Mar 24, 2020 · 4 comments

Comments

@van-den-Berg
Copy link
Collaborator

Im Moment gibt es zu viele Aufrufe der Maps API.

Fabian schreibt dazu:

Hi Leute, wir haben auch zusätzlich ein Problem im Backend, dass wir heute bereits 500 Requests an die Google Maps API gesendet haben. Ab 500 wird meine API nichts sinnvolles mehr zurückgeben :-(
Ich habe ein tägliches Limit von 500 Requests, da dies im Monat bereits >450€ wären (305000,03€). D.h., auch, dass ich das Level die Tage noch runterstellen muss, damit mein Free-Trial noch ausreichend.
Ich werde jetzt parallel den Google Maps Crisis Grant anstoßen, damit wir ein bisschen mehr Spielraum hätten. Mal sehen, ob wir den bekommen …

Man könnte die Anfragen reduzieren, indem in der maket/scrape Funktion die GPS Daten der Datenbank durchsucht werden. Dazu muss der Markt bereits über den markets-Endpoint der MapsAPI eingepflegt worden sein.
Falls eine Anfrage des markets-Endpoints nur eine Google Anfrage zur Folge hat lohnt es sich dann einmal über gesamt Deutschland in möglich wenigen requests ganz Deutschland zu scrapen....
Die Detail-Befüllung über den market-Endpoint wird dann bei erster aktiver Nutzeranfrage erfolgen und sich somit über einen längeren Zeitraum verteilen.
@dirkleiacker
Copy link
Collaborator

Wenn ich es richtig verstanden habe, dann liefert die google api pro request höchstens 20 Ergebnisse zurück und teilt dann mit, ob es noch mehr gibt...

@dirkleiacker
Copy link
Collaborator

Idee...: Supermarktstandorte über OpenStreetMap laden. Damit wüssten wir zumindest schonmal wo es überhaupt Märkte gibt und ob wir alle haben, dann müssten wir nur noch für die abgefragten Märkte die Öffnungszeiten bei google abfragen, wissen aber, wann wir alle Daten haben. Laden wir immer über google wissen wir nicht, ob wir alle Märkte im angefragten Radius haben..

@MartinLeiacker
Copy link
Collaborator

Lokales ermitteln der gespeicherten Märkte innerhalb eines Radius um eine GPS Koordinate ist implementiert und kann für market/scrape genutzt werden. Test und deploy folgen...

@dirkleiacker
Copy link
Collaborator

Märkte aus OSM Laden klappt, fehlt noch Übertragen in DB / Backend.. => kommt morgen

@van-den-Berg van-den-Berg changed the title Maps API Anfragen minimieren Maps API Anfragen minimieren / OpenStreetMaps Mar 26, 2020
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
3 participants
@MartinLeiacker @dirkleiacker @van-den-Berg