Startseite
  • » Home
  • » Handbuch & FAQ
  • » Forum
  • » Übersetzungsserver
  • » Suche
Startseite › Forum › Drupalcenter.de › Module ›

Feeds Datensätze finden

Eingetragen von Micha1111 (290)
am 31.08.2013 - 17:51 Uhr in
  • Module
  • Drupal 7.x

Mit dem Modul Feeds ist es möglich, Daten aus einer CSV-Datei zu importieren.
Beim 1. Import entstehen so viele neue Nodes.

Beim erneuten Import einer sich wöchentlich ändernden CSV-Datei gibt es dann aber 4 Varianten.

Beispiel:
1. CSV-Datei mit 1000 Datensätzen => alle werden als "neu" importiert

2. CSV-Datei mit 900 Datensätzen, davon

100 neu (in der 1. nicht enthalten) => werden als neu importiert
500 unverändert (also der hash-Wert nicht verändert) => Nodes werden überhaupt nicht angesprochen
300 mit geänderten Wert (also hash-Wert abweichend) => Nodes werden akualisiert/geändert

Es gibt also 200 Datensätze aus der 1. CSV-Datei, die in der 2. CSV-Datei nicht mehr enthalten sind; demzufolge 200 "Node-Leichen".

Gibt es eine Möglichkeit, diese "Node-Leichen" zu finden ?

Hinweis:
Ich habe versucht, dem Inhaltstypen ein zusätzliches Statusfeld hinzuzufügen und dann mit VBO alle Nodes vor dem 2. Import auf den Status "alt" gesetzt. Dann beim nächsten Import mit Rules den Zustand neu/geändert aus den Nodeproperties abgefragt und so das Statusfeld geändert.
Nur die ignorierten/übersprungenen Datensätze lassen sich nicht von den nicht mehr vorhandenen Datensätzen unterscheiden.
Feeds scheint jeden Datensatz der CSV-Datei abzuarbeiten, ohne zu protokollieren, ob es sich um einen nicht geänderten Datensatz mit unverändertem hash-Wert handelt.

‹ CountryBan CKEditor Probleme mit der Konfiguration ›
  • Anmelden oder Registrieren um Kommentare zu schreiben

Diese Problematik stellt sich

Eingetragen von montviso (2188)
am 02.09.2013 - 09:42 Uhr

Diese Problematik stellt sich mir auch.

Ich habe dafür ein kleines Modul geschrieben mit eigenem Batch-Import, das beim Aufrufen des Crons gestartet wird.
Es ist allerdings nur im groben Rahmen fertig, weil ständig andere Dinge wichtiger sind. ;-)

Folglich kann ich auch nicht sagen, es genauso funktioniert, wie ich es mir vorstelle.

Aber evt. kann ich Dir ja einen Denkanstoß geben:

Es sollen ja eigentlich vor dem Import alle diesen Import betreffenden Nodes status = 0 erhalten und nur die, die im CSV enthalten sind, sollen wieder aktiviert werden.
Wenn nun aus welchem Grund auch immer der der Batch-Import nicht durchgeführt werden kann, obwohl der vorherige Update auf status 0 bereits durchgeführt wurde, dann sind alle deaktiv.
Das ist nicht schön.

Der Batch-Import erlaubt mit 'finished' die Definition einer Funktion, die nur ausgeführt wurde, wenn der Batch erfolgreich durchgeführt wurde.
In dieser Funktion prüfe ich bei jeder Node, auf was das published Datum steht.
Wenn dieses wesentlich älter ist, als zu erwarten ist, wenn beim Import eine Änderung auf diesen Node durchgeführt wurde, dann wird dieser Datensatz auf status = 0 gesetzt.

Wenn ich weiß, wie lange der Import in der Regel dauert, dann kann ich diesen Wert korrekt schätzen.

Das erfordert allerdings, daß ich den Haken im Import so setze, daß der Datensatz immer aktualisiert wird, auch wenn der hash-Wert gleich ist.
Andernfalls bleibt das published-Datum ja auch für Inhalte gleich, deren Inhalt unverändert weiter erhalten bleiben soll.

So und nun bin ich gespannt, ob evt. noch intelligentere oder einfachere Lösungsvorschläge kommen....

  • Anmelden oder Registrieren um Kommentare zu schreiben

Datum Batch-Import -> Systemvariable

Eingetragen von quiptime (4972)
am 02.09.2013 - 09:54 Uhr

@montviso,

die Modulfunktion hoert sich gut an. Was Du im Modul noch tun koenntest ist das Speichern/Aktualisieren einer Variable mit dem Datum des aktuell abgelaufenen Batch-Import.
Dadurch ergibt sich eventuell ein besseres/erweitertes Handling bei den Pruefungen die nach erfolgreichem Batch ablaufen.

  • Anmelden oder Registrieren um Kommentare zu schreiben

Hi quiptime, danke für die

Eingetragen von montviso (2188)
am 02.09.2013 - 10:13 Uhr

Hi quiptime,
danke für die Anregung.
Nun hat der Thread schon Wirkung gezeigt, ich bin mal wieder motiviert, an der Stelle am eigenen Projekt weiter zu machen statt immer nur Kundenprojekte... ;-)

  • Anmelden oder Registrieren um Kommentare zu schreiben

Benutzeranmeldung

  • Registrieren
  • Neues Passwort anfordern

Aktive Forenthemen

  • Wie erlaubt man neuen Benutzern auf die Resetseite zugreifen zu dürfen.
  • Probleme mit der darstellun der ogg:image Tags.
  • Drupal-Forks und ihre Schwächen/Stärken
  • Lokale Entwicklungsumgebung auf Windows
  • [gelöst]Abhängigkeiten zweier oder mehrerer Inhaltstypen
  • Drupalcenter tot?
  • Was kann ich gegen ständige Blutergüsse tun?
  • Mir gefällt die Drupal Symfony und deren Composer
  • Mir ist da was aufgefallen ;)
  • Matomo Installation
  • Verständnisfrage private_files in Drupal
  • [gelöst] Drupal 7 Forum Beitrag mit Bilder einstellen
Weiter

Neue Kommentare

  • Danke für die ausführliche
    vor 29 Minuten 13 Sekunden
  • Also Leute ich freue mich ja
    vor 1 Stunde 11 Minuten
  • Was du brauchst ist der
    vor 1 Stunde 17 Minuten
  • Kommt drauf an
    vor 1 Stunde 38 Minuten
  • Kontextfilter und Relationen sind der richtige Ansatz
    vor 18 Stunden 56 Minuten
  • Zusatzfragen
    vor 1 Tag 20 Stunden
  • DDEV verwaltet Container, sowohl Docker als auch andere
    vor 1 Tag 20 Stunden
  • Entwicklungsumgebung ist nicht nur Server
    vor 1 Tag 20 Stunden
  • Danke
    vor 3 Tagen 3 Stunden
  • [gelöst] Danke!
    vor 3 Tagen 3 Stunden

Statistik

Beiträge im Forum: 250051
Registrierte User: 20362

Neue User:

  • LilliNELP
  • Wavermype
  • tom082

» Alle User anzeigen

User nach Punkten sortiert:
wla9456
stBorchert6003
quiptime4972
Tobias Bähr4019
bv3924
ronald3855
md3717
Thoor3678
Alexander Langer3416
Exterior2903
» User nach Punkten
Zur Zeit sind 0 User und 6 Gäste online.

Hauptmenü

  • » Home
  • » Handbuch & FAQ
  • » Forum
  • » Übersetzungsserver
  • » Suche

Quicklinks I

  • Infos
  • Drupal Showcase
  • Installation
  • Update
  • Forum
  • Team
  • Verhaltensregeln

Quicklinks II

  • Drupal Jobs
  • FAQ
  • Drupal-Kochbuch
  • Best Practice - Drupal Sites - Guidelines
  • Drupal How To's

Quicklinks III

  • Tipps & Tricks
  • Drupal Theme System
  • Theme Handbuch
  • Leitfaden zur Entwicklung von Modulen

RSS & Twitter

  • Drupal Planet deutsch
  • RSS Feed News
  • RSS Feed Planet
  • Twitter Drupalcenter
Drupalcenter Team | Impressum & Datenschutz | Kontakt
Angetrieben von Drupal | Drupal is a registered trademark of Dries Buytaert.
Drupal Initiative - Drupal Association