1. Zusammenarbeit der Teams:
- Der Integrationsprozess setzt die Zusammenarbeit beider Teams voraus (Senkrondata und das Team für die BigQuery-Integration).
- In diesem Schritt wird festgelegt:
- Welche Daten in die Integration einfließen
- Wie häufig die Daten aktualisiert werden
- Welche Funktionen Teil der Integration sind
Beteiligte Teams:
- Senkrondata-Team: Stellt sicher, dass die Daten in korrektem Format und in korrekter Struktur nach BigQuery übertragen werden.
- BigQuery-Team: Konfiguriert die Google-Cloud-Umgebung und richtet die passenden Datenbankstrukturen in BigQuery ein.
2. Strukturelle Anforderungen festlegen:
- Die Struktur der für die Integration benötigten Daten muss bestimmt werden.
- Schemata und Datentypen müssen aufeinander abgestimmt sein, damit die Übertragung nach BigQuery reibungslos verläuft.
Wichtige Punkte für die Datenspeicherung:
- Tabellenstruktur: Festlegen, welche Datentypen in welchen Tabellen abgelegt werden.
- Datenformat: Verwendung geeigneter Formate wie JSON, CSV oder Avro.
- Beziehungen: Datenbankbeziehungen sauber definieren, damit die Zuordnung der Daten korrekt erfolgt.