Awesome Image Awesome Image

Удаляем дубликаты из таблиц Google BigQuery

Задача удаления дубликатов из таблицы BigQuery может быть решена разными способами. Рассмотрим несколько из них. Используем ROW_NUMBER Один из вариантов предполагает использование оконной функции ROW_NUMBER для удаления дубликатов. Функция ROW_NUMBER присваивает каждой строке таблицы уникальный номер, который можно использовать для выборки только уникальных записей. Вот как выглядит код для удаления дубликатов с использованием ROW_NUMBER: В […]

Читать далее

Как сделать UPSERT в Google BigQuery?

Существует несколько способов реализации операции UPSERT в BigQuery. Об одном из таких способов я расскажу в этой статье. Для начала давайте представим, что у нас есть таблица из двух полей id и name: Мы хотим выполнить UPDATE записи по ключу id, а если значение с таким ключом не найдено, то выполнить INSERT. Для этого я […]

Читать далее

Визуализируем пропуски по датам в Google Data Studio

Есть у меня дашборд для мониторинга интеграций с разными сервисами. Например, в нем я отслеживаю полноту заполнения данных по обращениям из чата или коллтрекинга, наличие данных по обращениям из 1С и многое другое. Я решил, что для полной картины, в него нужно добавить график расходов на рекламу по дням. Расходы выгружаются скриптами-коннекторами из различных рекламных кабинетов: Яндекс Директ, ВК и т. п. Тем самым я планирую отслеживать дни, за которые расходы на рекламу не импортировались в хранилище […]

Читать далее

Как в Google BigQuery посчитать MAU за каждый день?

Небольшая инструкция о том, как создать таблицу в Google BigQuery с выводом за каждый день MAU (monthly active users), а также WAU и любой другой вариант *AU.Т. е. в итоге мы хотим получить таблицу вида: Чтобы затем построить в Google Data Studio такой же красивый график, как в Firebase или Google Analytics 4: Пишем запрос Для этого достаточно создать сначала общее табличное выражение (CTE): где user_pseudo_id — это уникальный […]

Читать далее