Startseite
  • » Home
  • » Handbuch & FAQ
  • » Forum
  • » Übersetzungsserver
  • » Suche
Startseite › Forum › Drupalcenter.de › Module ›

GeoNames Feeds Import

Eingetragen von neofelis (186)
am 30.09.2014 - 16:47 Uhr in
  • Module
  • Drupal 7.x oder neuer

Hallo zusammen,

ich habe folgendes Anliegen bzw. Stand.

Ich möchte international per GeoNames Database CSV alle Städte, dazugehörigen Bundesländer, Länder samt Postleitzahlen importieren. Das funktioniert mit dem Feeds, Feeds Tamper, Entity Reference, Field Validation Modul momentan teilweise.

Das Problem liegt darin, dass GeoNames teilweise auf verschiedene CSV Dateien zurückgreift.

Nehmen wir als kleineres Beispiel Deutschland:
http://download.geonames.org/export/dump/DE.zip

Bundesländer und Städte sind hier in einer Datei. Sie unterscheiden sich aber in den Werten der Spalte Admin Code 3 und Feature Code. Feature Code enthält einfach einen Wert wie ADM1 = Bundesland PPLA4 = Stadt, welchen mit dem Feeds Tamper Keyword Filter filtern kann, damit nicht auch Militärbasen importiert werden.

Städte haben hier einen Admin Code 3 beispielsweise mit Wert "1055", welcher zu den Postleitzahlen passt.

http://download.geonames.org/export/zip/

Nehmen wir als Ort Timmendorfer Strand mit der Postleitzahl 23669 so hat dieser Eintrag ebenfalls den Code 1055.

Da es aber nun zwei getrennte Dateien sind, muss ich zweimal mit getrennten Feeds Profilen importieren. Also erst Städte, dann hinterher Postleitzahlen als Update. Die Felder sind bereits bei Drupal angelegt. Leider kann ich bei den Postleitzahlen nicht mit Unique IDs arbeiten, da eine Postleitzahl ja bekanntlich auch mehreren Ortsnamen/Orten zugeordnet sein kann.

Ich müsste also irgendwie mit Feeds so hinbekommen, dass er beim Import der Postleitzahlen diesen Code abgleicht und dann die Postleitzahl in das dafür vorgesehene Feld importiert, aber auch nur wenn dieser Code vorhanden ist.

Das Weitere Problem ist, dass ebenfalls bei den Bundesländern ebenfalls zur Verknüpfung von Stadt und Bundesland eine Abgleich des Admin Code 1 notwenig ist. Timmendorfer Strand hat hier den Admin Code 1 Wert "10". Wert 10 steht richtigerweise für das Bundesland "Schleswig-Holstein".

Außerdem denke ich, ist es am besten in folgender Reihenfolge zu importieren:

  1. Länder
  2. Bundesländer
  3. Städte
  4. Postleitzahlen
  5. Sprachen i18n (liegen in der http://download.geonames.org/export/dump/alternateNames.zip)

Ich habe manuell ein Land mit ISO Ländernamen "DE" erstellt und per Feeds Entity reference Funktion verknüpft. Das funktioniert soweit, aber halt nur wenn die das Land vorher schon angelegt wurde, aber das wäre nicht das Problem, wenn ich die Länder vorher importiere.

Hat das einer schon mal gemacht und hinbekommen bzw. kann dabei helfen?

Viele Grüße

Alexander

AnhangGröße
Feeds City Import208.82 KB
Nodes types67.73 KB
Nodes50.14 KB
Node view city130.72 KB
‹ [gelöst] Webform in definiertem Zeitraum anzeigen/ausblenden Colorbox Billdgrößen ›
  • Anmelden oder Registrieren um Kommentare zu schreiben

Vielleicht über das

Eingetragen von zwerg (736)
am 22.10.2014 - 18:03 Uhr

Vielleicht über das GMap-Modul? Das liefert sämtliche Länder dieser Erde komplett mit...

Web: Halle im Bild | n8aktiv
Social: Facebook | Xing

  • Anmelden oder Registrieren um Kommentare zu schreiben

Geht leider nicht, weil ich

Eingetragen von neofelis (186)
am 23.10.2014 - 12:15 Uhr

Geht leider nicht, weil ich GeoNames unbedingt benötige, aber ich habe das soweit schon hinbekommen, aber trotzdem gibt es noch kritisches Problem. Wenn ich eine 1.3 GB CSV mit Feeds + Feeds Tamper importiere und zwar als Test ganz einfach mit nur 2 Feldern, dann importiert er mir nicht alle Items. Ich habe die max_execution_time in der php.ini schon auf den Wert 3000 hochgeschraubt sowie das PHP Limit auf 256M.

Der Managed Server von Mittwald ist mit 16 GB RAM, SSD usw. mehr als stark genug. Es gibt eigenartigerweise auch von Feeds und Drupal selbst keine Error Meldung. Wenn ich eine der kleinen CSV Dateien verwende, funktioniert es. Ich habe auch in der settings.php das Importlimit von Feeds von 50 auf 2000 gebracht, aber auch ohne Erfolg.

Auch die Cron im Hintergrundlösung brachte keinen Erfolg. Es wird immer nur eine gewisse Menge importiert.

Beste Grüße

Alexander Sibert

Internet: http://catopuma.de - Internet-Agentur für Webentwicklung und Internet-Marketing
facebook: https://www.facebook.com/neofelis.1
twitter: https://twitter.com/neofelis_de

  • Anmelden oder Registrieren um Kommentare zu schreiben

Wahrscheinlich sind das zu

Eingetragen von zwerg (736)
am 23.10.2014 - 14:47 Uhr

Wahrscheinlich sind das zu viele Daten. Vielleicht kannst du ja die Datensätze von GMap als Import nutzen?

Web: Halle im Bild | n8aktiv
Social: Facebook | Xing

  • Anmelden oder Registrieren um Kommentare zu schreiben

Benutzeranmeldung

  • Registrieren
  • Neues Passwort anfordern

Aktive Forenthemen

  • PHP 8.1 - Deprecated function: rtrim()
  • Preloader / Spnner entfernen Menu Link Modal-Modul
  • Schriftgröße standard einstellen
  • Drupal Website gestalten
  • MariaDB 10.6
  • Entity Reference - Title Felder werden als Link angezeigt
  • Tokens werden in Viev als Link angezeigt
  • [bug entdeckt & workaround gefunden] benutzerdefinierte Felder vom Userprofil tauchen ungefragt auch in den Forumtopics auf...
  • [gelöst] Mass contact Empfängerliste nach Taxonomy Term statt Rolle
  • Update V. 9.3.12 auf V. 9.4 mit Fehler: Modul mySQL fehlt. Bitte Hilfe.
  • Sprachpfad, in Drupal Korrekt einstellen, auch bei den Meta-Tags
  • Update von Drupal 9.3 auf 9.4 oder bei 9.3 bleiben
Weiter

Neue Kommentare

  • Danke fürs Feedback. Gut dass
    vor 22 Stunden 8 Minuten
  • Patch angewandt
    vor 1 Tag 1 Stunde
  • core_version_requirement: ^8
    vor 3 Tagen 2 Stunden
  • core_version_requirement: ^8
    vor 3 Tagen 2 Stunden
  • ok. Wenn ich das mache
    vor 3 Tagen 2 Stunden
  • Bei gleichem Namen hat das
    vor 3 Tagen 3 Stunden
  • Sorry, dass ich mich hier
    vor 3 Tagen 3 Stunden
  • Habe Patch versucht
    vor 3 Tagen 10 Stunden
  • Hier wird ein Patsch
    vor 3 Tagen 12 Stunden
  • Mit Drupal geht das um 150
    vor 3 Tagen 23 Stunden

Statistik

Beiträge im Forum: 247866
Registrierte User: 19594

Neue User:

  • Davidsnins
  • kudes
  • Tkakah

» Alle User anzeigen

User nach Punkten sortiert:
wla9213
stBorchert6003
quiptime4972
Tobias Bähr4019
bv3924
ronald3845
md3717
Thoor3678
Alexander Langer3416
Exterior2903
» User nach Punkten
Zur Zeit sind 0 User und 3 Gäste online.

Hauptmenü

  • » Home
  • » Handbuch & FAQ
  • » Forum
  • » Übersetzungsserver
  • » Suche

Quicklinks I

  • Infos
  • Drupal Showcase
  • Installation
  • Update
  • Forum
  • Team
  • Verhaltensregeln

Quicklinks II

  • Drupal Jobs
  • FAQ
  • Drupal-Kochbuch
  • Best Practice - Drupal Sites - Guidelines
  • Drupal How To's

Quicklinks III

  • Tipps & Tricks
  • Drupal Theme System
  • Theme Handbuch
  • Leitfaden zur Entwicklung von Modulen

RSS & Twitter

  • Drupal Planet deutsch
  • RSS Feed News
  • RSS Feed Planet
  • Twitter Drupalcenter
Drupalcenter Team | Impressum & Datenschutz | Kontakt
Angetrieben von Drupal | Drupal is a registered trademark of Dries Buytaert.
Drupal Initiative - Drupal Association