Optimiser le transfert Google Ads vers BigQuery réduit les délais de backfill, facilite la gestion multi-comptes, et améliore le contrôle des données. Découvrez des techniques avancées pour gagner en efficacité et maîtriser vos datasets, avec des méthodes fiables basées sur l’expérience terrain et la documentation officielle Google.
3 principaux points à retenir.
- Segmenter les backfills pour réduire la durée totale de l’import.
- Utiliser les MCC pour rationaliser la gestion multi-comptes.
- Configurer les transferts et datasets pour éviter la surcharge et faciliter la maintenance.
Comment accélérer la récupération historique des données Google Ads ?
Lorsque l’on parle de récupération historique des données de Google Ads vers BigQuery, la première chose qui vient à l’esprit est la durée du processus de backfill. Si tu prévois un backfill massif sur 1 ou 2 ans, attends-toi à un véritable marathon : cela prendra des jours, voire des semaines. Pourquoi ? Parce que Google impose des limites strictes sur le nombre de jobs backfill que tu peux exécuter simultanément.
En effet, il y a un plafond sur le nombre de jobs en file d’attente et un intervalle par défaut de 35 minutes entre chaque job. Ce qui signifie que si tu lances un backfill de 12 mois, ton job partira tout juste à la période choisie avant que tu ne finisses le premier, laissant de côté un bon nombre de données potentiellement cruciales.
La solution ? Segmenter ta période en intervalles plus courts, par exemple de 2 mois. L’idée est d’optimiser le processus en lançant plusieurs backfills légèrement espacés dans le temps. Un espaçage d’environ 8 minutes entre chaque job te permet de récupérer l’intégralité de tes données de manière efficace. Par exemple :
// Lancer un backfill pour Janvier-Février
launchBackfill("2023-01-01", "2023-02-28");
// Lancer un backfill pour Mars-Avril, 8 minutes plus tard
sleep(480000); // 8 minutes en millisecondes
launchBackfill("2023-03-01", "2023-04-30");
Cette méthode ne contourne pas les limites imposées par Google sur le nombre de jobs simultanés, mais elle a l’avantage d’accélérer ton processus global. C’est là que l’erreur 303 entre en jeu. Cette erreur indique que tu as atteint un maximum de jobs de backfill pour le moment. En utilisant la méthode de segmentation avec un espacement adéquat, tu diminues les chances de tomber dans cette boucle d’erreurs, rendant ton backfill plus fluide.
En résumé, pour transformer des jours de backfill en quelques heures, pense à segmenter. Ce n’est pas juste intuitif, c’est une stratégie fondée sur l’approche pratique des limites techniques que Google impose. Si tu comprends cette dynamique, tu optimises vraiment ton transfert de données vers BigQuery.
Comment gérer efficacement plusieurs comptes Google Ads dans BigQuery ?
Gérer plusieurs comptes Google Ads peut rapidement devenir un casse-tête, surtout quand il s’agit de centraliser les données dans BigQuery. La bonne nouvelle ? Le My Client Center (MCC) est votre meilleur allié. Grâce à lui, vous pouvez gérer plusieurs comptes sous un seul identifiant, ce qui simplifie considérablement le transfert de données vers BigQuery.
Pour récupérer votre ID MCC, dirigez-vous vers votre compte Google Ads. En haut à droite, cliquez sur l’icône de votre compte, puis sur « Centre de clients » pour obtenir votre identifiant. Avec cet ID en main, vous pouvez lancer un transfert unique vers BigQuery, rendant la gestion des données à la fois rapide et efficace.
Mais que faire si l’utilisation d’un MCC n’est pas possible ? Dans ce cas, vous devrez créer plusieurs transferts distincts, ce qui complique la maintenance. Imaginez la difficulté de devoir gérer plusieurs datasets : il faut s’assurer que les noms soient cohérents, surveiller les jobs de transfert, et suivre la provenance des données. Franchement, c’est le chaos assuré.
Pour éviter cette situation, adoptez une méthode de nommage claire et pérenne pour vos datasets et jobs de transfert. Par exemple, optez pour des noms tels que GoogleAds_BQDataTransfer_1234567890 ou GoogleAds_Supermetrics_1234567890. En intégrant la source, l’outil utilisé et l’ID du compte, vous vous assurerez de pouvoir identifier rapidement d’où provient chaque dataset.
En somme, l’importance des noms cohérents ne peut pas être sous-estimée. Ils permettent non seulement d’éviter des confusions, mais aussi d’optimiser le temps de recherche et de vérification des données. Pour des conseils supplémentaires sur la configuration de ces transferts, vous pouvez consulter davantage de ressources comme celles disponibles sur BigQuery.
Comment limiter le nombre de tables Google Ads importées dans BigQuery ?
Google Ads génère par défaut une centaine de tables lors du transfert vers BigQuery. Pour un utilisateur moyen, cela peut rapidement se transformer en un casse-tête. Alors, comment optimiser l’importation sans se noyer sous les données ? La première étape consiste à sélectionner judicieusement les tables à importer.
Dans la configuration du transfert, vous avez la possibilité d’utiliser des filtres efficaces pour inclure ou exclure des tables spécifiques. Utilisez les préfixes comme ‘p_ads_’ pour inclure certaines tables et la syntaxe – pour exclure celles qui ne vous intéressent pas. Par exemple, si vous souhaitez exclure la table des ClickStats, la ligne concernée ressemblera à cela : -p_ads_ClickStats.
Cependant, il est important d’être prudent avec les exclusions. Généralement, ne rien exclure ou seulement exclure des tables dans des cas spécifiques est une option plus sécurisée. La table des ClickStats, bien qu’elle puisse paraître encombrante, contient des données précieuses concernant les interactions des utilisateurs avec vos annonces. Donc, à moins que vous ayez des raisons précises de ne pas vouloir ces données, il est sage de les conserver.
Voici un aperçu des principales tables générées par Google Ads et leur utilité :
- p_ads_Campaigns : Informations sur vos campagnes, essentielles pour suivre vos performances.
- p_ads_Ads : Détails sur chaque annonce, à utiliser pour analyser ce qui fonctionne ou non.
- p_ads_ClickStats : Statistiques sur les clics, utile pour juger de l’engagement.
- p_ads_Impressions : Données sur les impressions, cruciales pour évaluer la visibilité des annonces.
Pour résumer, un filtrage adéquat des tables lors de l’importation de Google Ads vers BigQuery peut non seulement rendre vos données plus gérables, mais aussi accélérer le processus d’analyse. Pour voir les quotas et les limitations en matière de transfert de données, n’hésitez pas à consulter ici.
| Type de Table | Cas d’Usage |
|---|---|
| p_ads_Campaigns | Suivi des performances des campagnes |
| p_ads_Ads | Analyse des annonces individuelles |
| p_ads_ClickStats | Évaluation de l’engagement des utilisateurs |
| p_ads_Impressions | Mesure de la visibilité des annonces |
Comment automatiser les backfills et surveiller les coûts liés au transfert Google Ads ?
Dans le monde du marketing digital, la nécessité de rafraîchir les conversions peut entraîner des backfills fréquents, surtout pour les entreprises avec de longs délais de conversion comme le B2B, les produits onéreux ou les applications mobiles freemium. C’est là qu’intervient l’automatisation des backfills, une stratégie essentielle qui peut faire la différence entre la non-récupération de données précieuses et une bonne exploitation de vos campagnes. Pourquoi perdre du temps sur des tâches répétitives quand vous pouvez automatiser le processus via le terminal Cloud Shell ?
Pour commencer, il faut récupérer le resource ID de votre projet directement depuis la console Google Cloud. Une fois que vous avez cela, vous pouvez procéder à l’authentification de Cloud Shell avec votre compte. Ce n’est qu’un petit pas, ensuite vient la partie sérieuse : scripting. Voici un exemple de script bash qui vous permet de planifier un backfill :
#!/bin/bash
# Variables
project_id="votre_project_id"
customer_id="votre_customer_id"
date_range="DATE_RANGE"
# Exécuter le backfill
bq mk --transfer_config --project_id=$project_id \
--target_dataset=your_dataset \
--data_source=google_ads \
--params='{"customer_id":"'$customer_id'","date_range":"'$date_range'"}' \
--display_name="Backfill Google Ads"
Ce simple script va créer un processus de backfill automatique pour la plage de dates que vous définissez. Simple, non ? Mais il faut garder un œil sur les coûts. Les charges de stockage dans BigQuery peuvent rapidement monter. Pour connaître la taille des datasets Google Ads dans BigQuery, une simple requête SQL peut faire l’affaire :
SELECT
table_name,
SUM(size_bytes) AS total_size_bytes
FROM
`your_project_id.your_dataset.INFORMATION_SCHEMA.TABLES`
GROUP BY
table_name
ORDER BY
total_size_bytes DESC
Cette requête vous donnera une image claire de la volumétrie des données et vous permettra de surveiller vos coûts d’ingestion et de stockage. Pour maîtriser ces coûts, il est également primordial d’activer les emails de notification pour être alerté rapidement en cas de problème de transfert. Ne laissez pas une erreur vous faire perdre des données.
En vous engageant dans cette automatisation, non seulement vous gagnez du temps, mais vous maximisez également vos capacités d’analyse. Pour une documentation détaillée sur l’intégration des transferts de données Google Ads vers BigQuery, vous pouvez consulter ce lien.
Prêt à maîtriser pleinement le transfert Google Ads pour vos analyses BigQuery ?
Le transfert Google Ads vers BigQuery est un levier puissant pour centraliser les données marketing et piloter les performances. En segmentant intelligemment les backfills, en exploitant les MCC pour multi-comptes, et en maîtrisant la configuration des tables importées, vous optimisez votre flux de données. L’automatisation via Cloud Shell et la surveillance proactive des coûts complètent ce dispositif robuste. Ces pratiques assurent un accès rapide, pertinent et organisé à vos données Google Ads, indispensables pour un pilotage agile et éclairé.
FAQ
Comment segmenter un backfill pour accélérer le transfert Google Ads ?
Quelle est l’utilité d’utiliser un MCC dans le transfert Google Ads ?
Peut-on réduire le nombre de tables importées dans BigQuery depuis Google Ads ?
Comment automatiser les backfills réguliers sur Google Ads ?
Quel est le coût associé à l’utilisation de Google Ads Data Transfer sur BigQuery ?
A propos de l’auteur
Franck Scandolera, expert en Web Analytics et Data Engineering, accompagne depuis plus de 10 ans agences et annonceurs dans la maîtrise complète de leurs données marketing. Responsable de l’agence webAnalyste et formateur indépendant, il excelle dans l’automatisation et l’exploitation avancée des plateformes comme Google Ads et BigQuery, avec un oeil avisé sur la performance et la conformité RGPD.
⭐ Expert et formateur en Tracking avancé, Analytics Engineering et Automatisation IA (n8n, Make) ⭐
Ref clients : Logis Hôtel, Yelloh Village, BazarChic, Fédération Football Français, Texdecor…
Mon terrain de jeu :
Data & Analytics engineering : tracking propre RGPD, entrepôt de données (GTM server, BigQuery…), modèles (dbt/Dataform), dashboards décisionnels (Looker, SQL, Python).
Automatisation IA des taches Data, Marketing, RH, compta etc : conception de workflows intelligents robustes (n8n, Make, App Script, scraping) connectés aux API de vos outils et LLM (OpenAI, Mistral, Claude…).
Engineering IA pour créer des applications et agent IA sur mesure : intégration de LLM (OpenAI, Mistral…), RAG, assistants métier, génération de documents complexes, APIs, backends Node.js/Python.