BigQuery Kullanıcı Arayüzünde Gezinme ve Veri Keşfi Codelab

1. Giriş

BigQuery, sunucusuz, yüksek düzeyde ölçeklenebilir ve uygun maliyetli bir veri ambarıdır. Verilerinizi BigQuery'ye taşıyın ve zorlu işleri bize bırakın. Siz de işletmenizi yönetmeye, gerçekten önemli olan şeylere odaklanabilirsiniz. İş ihtiyaçlarınıza (ör. başka kullanıcılara verilerinizi görüntüleme veya sorgulama yetkisi verme) göre hem projeye hem verilerinize erişimi kontrol edebilirsiniz.

Bu laboratuvarda, BigQuery'nin analiz olanaklarını keşfedeceksiniz. Google Cloud Storage paketinden veri kümesi içe aktarmayı ve Perakende bankacılığı veri kümesiyle çalışarak BigQuery kullanıcı arayüzü hakkında bilgi edinmeyi öğreneceksiniz. Ayrıca bu laboratuvarda; sorgu sonuçlarını e-tabloda dışa aktarma, sorgu geçmişinizdeki sorguları görüntüleme ve çalıştırma, sorgu performansını görüntüleme, diğer ekipler ve departmanlar tarafından kullanılması için tablo görünümleri oluşturma gibi günlük analizlerinizi çok daha kolaylaştıran BigQuery'deki temel özellikleri nasıl keşfedeceğinizi öğreneceksiniz.

Öğrenecekleriniz

Bu laboratuvarda, aşağıdaki görevleri nasıl gerçekleştireceğinizi öğreneceksiniz:

• BigQuery'ye yeni veriler yükleme
• BigQuery kullanıcı arayüzüne aşinalık kazanın
• BigQuery'de Sorgu Çalıştırma
• Sorgu Performansını Görüntüle
• BigQuery'de Görünüm Oluşturma
• Veri kümelerini başkalarıyla güvenli bir şekilde paylaşın

2. Giriş: BigQuery Kullanıcı Arayüzünü Anlama

Bu bölümde BigQuery kullanıcı arayüzünde gezinmeyi, mevcut veri kümelerini görüntülemeyi ve basit bir sorgu çalıştırmayı öğreneceksiniz.

BQ kullanıcı arayüzü yükleniyor

1. "BigQuery" yazın Google Cloud Platform Console'un üst kısmında yer alır.
2. Seçenek listesinden BigQuery'yi seçin. BigQuery logosunu (büyüteç) içeren seçeneği belirlediğinizden emin olun.

Veri Kümelerini Görüntüleme ve Sorguları Çalıştırma

1. Kaynak bölümünün solundaki bölmeden BigQuery projenizi tıklayın.
2. Söz konusu veri kümesindeki tabloları görüntülemek için bq_demo simgesini tıklayın
3. Aramak için yazın kutusuna "card" yazın "card" kelimesini içeren tabloların ve veri kümelerinin listesini görmek için yazarsınız.
4. "card_transactions" seçeneğini belirleyin arama sonuçları listesinden tablo

5. Bu tablonun meta verilerini görüntülemek için card_transactions bölmesinin altındaki Ayrıntılar sekmesini tıklayın.
6. Tablonun önizlemesini görmek için Önizleme sekmesini tıklayın

[Rekabetçi Konuşma Noktası]: Google Veri Kataloğu ile entegrasyon, BigQuery meta verilerinin, veri gölleri veya operasyonel veri kaynakları gibi diğer veri kaynaklarıyla birlikte yönetilebileceği anlamına gelir. Bu örnek, Google Cloud'un sadece ilişkisel bir veri ambarı olmadığını, aynı zamanda baştan sona bir Analitik Veri platformu olduğunu gösteriyor.

7. "card_transactions" sorgusunu sorgulamak için büyüteç simgesini tıklayın. tablosunu oluşturalım. Otomatik oluşturulan bir metin, BigQuery sorgu düzenleyiciyi doldurur.
8. Card_Transaction tablosundan farklı satıcıları göstermek için kodu aşağıya girin

SELECT distinct (merchant) FROM bq_demo.card_transactions LIMIT 1000

9. Sorguyu çalıştırmak için Çalıştır düğmesini tıklayın.

3. Veri kümeleri oluşturma ve görünümleri paylaşma

Verilerin ve yönetimin paylaşılması son derece önemlidir. Bu işlem, BQ kullanıcı arayüzünde sezgisel olarak yapılabilir. Bu bölümde yeni bir veri kümesi oluşturmayı, bu veri kümesini bir görünümle doldurmayı ve bu veri kümesini paylaşmayı öğreneceksiniz.

Sorgu Geçmişini Görüntüleme

1. "Sorgu Geçmişi"ni tıklayın GCP Console'un sol bölmesinde
2. Sorgu Geçmişi bölmesinde yenile'yi tıklayın
3. Sorgunun sonuçlarını görüntülemek için sorgunun en sağındaki indirme resmini/oku tıklayın.

Yeni bir veri kümesi oluşturma

1. BigQuery kullanıcı arayüzünün kaynaklar bölmesinde [projenizin adı] öğesini seçin.
2. "Yeni veri kümesi oluştur"u seçin proje bilgi penceresinden
3. Veri Kümesi Kimliği için:

bq_demo_shared

4. Diğer tüm alanları varsayılan değerlerde bırakın
5. "Veri Kümesi Oluştur"u tıklayın

Görünüm Oluşturma

[Rekabetçi Konuşma Noktası]: BigQuery, ANSI SQL ile tamamen uyumludur. Ayrıca, hem basit hem de karmaşık, çok tablolu birleştirmeleri ve zengin analiz işlevlerini destekler. Taşıma sürecini kolaylaştırmak amacıyla, geleneksel veri ambarlarında kullanılan yaygın SQL veri türleri ve işlevleri için sürekli olarak gelişmiş desteği kullanıma sunduk.

1. "Yeni Sorgu Oluştur"u seçin düğmesini tıklayın.
2. Sorgu düzenleyiciye aşağıdaki kodu ekleyin

WITH revenue_by_month AS (
SELECT
    card.type AS card_type,
    FORMAT_DATE('%Y-%m', trans_date) as revenue_date,
    SUM(amount) as revenue
FROM bq_demo.card_transactions
JOIN bq_demo.card ON card_transactions.cc_number = card.card_number
WHERE trans_date  DATE_ADD(CURRENT_DATE, INTERVAL -1 YEAR)
GROUP BY card_type, revenue_date
)
SELECT
    card_type,
    revenue_date,
    revenue as monthly_rev,
    revenue -  LAG(revenue) OVER (ORDER BY card_type, revenue_date ASC) as rev_change
FROM revenue_by_month
ORDER BY card_type, revenue_date ASC;

3. "Görünümü Kaydet"i tıklayın
4. Proje Adı için mevcut projenizi seçin
5. Yeni oluşturulan veri kümesini seçin:

bq_demo_shared

6. Tablo Adı için:

rev_change_by_card_type

7. Kaydet'i tıklayın.

Görünümleri ve Veri Kümelerini Paylaşma

1. "bq_demo_shared"i seçin veri kümesini sol kaynak bölmesinden kaldırabilirsiniz.
2. "Veri Kümesini Paylaş"ı tıklayın. Veri kümesi bilgi bölmesinden
3. E-posta adresi girin
4. "BigQuery Veri Görüntüleyici"yi seçin Rol açılır menüsünden
5. "Ekle"yi tıklayın
6. Bitti'yi tıklayın

E-Tablolar'da Verileri Keşfedin

[Rekabetçi Konuşma Noktası]: BigQuery'nin rakiplerine kıyasla diğer bir avantajı BI Engine'dir. BI Engine, BI türü özet sorgularının bellek içi önbelleğe alma motoru aracılığıyla bir saniyeden daha kısa sürede döndürülmesini sağlamak için kullanılabilir. Bu özellik, şu anda Google Data Studio tarafından desteklenmektedir ancak yakında BigQuery'deki tüm sorguları hızlandırmak için kullanıma sunulacaktır.

Örneğin:

Snowflake, kontrol panelleri ve veri görselleştirme için 3. taraf BI araçlarından yararlanırken GCP; Bağlı Sayfalar, Data Studio ve Looker gibi birçok entegre BI aracı sunar.

1. "rev_change_by_card_type" öğesini seçin. görünümünü BigQuery kullanıcı arayüzündeki sol kaynak bölmesinden görüntüleyebilirsiniz.
2. Görünümü sorgulamak için büyüteci tıklayın
3. Tür:

SEÇ *

bq_demo_shared.rev_change_by_card_type BAŞLANGICI

4. Çalıştır'ı tıklayın.
5. "Dışa aktar"ı tıklayın. Sonuçlar Bölmesi simgesi
6. "E-Tablolar ile Verileri Keşfedin"i seçin

7. "Analizi Başlat"ı tıklayın
8. "Pivot Tablo"yu seçin
9. "Yeni Sayfa"yı seçin.
10. "Oluştur"u tıklayın
11. "Gelir_tarihi" değerini ekleyin E-Tablolar penceresinin sağ tarafında bulunan Pivot Tablo Düzenleyici'nin Satır bölümünde
12. "card_type" ifadesini ekleyin Pivot Tablo Düzenleyici'nin Sütun bölümünde
13. "monthly_rev" ekle Pivot Tablo Düzenleyici'nin Sütun bölümünde
14. Uygula'yı tıklayın

15. E-Tablolar kullanıcı arayüzünün en üst sırasına gidin ve Grafik Ekle'yi seçin.

4. Kurulum: Veri Entegrasyonu

Bu bölümde yeni bir tablo oluşturmayı ve Google Cloud'un sunduğu çok sayıda herkese açık veri kümesinden birinde bir JOINS gerçekleştirmeyi öğreneceksiniz.

[Rekabetçi Konuşma Konusu]:

BigQuery, paylaşılan veri kümelerini yıllardır destekliyor. Herhangi bir projedeki müşteriler hem herkese açık veri kümelerini hem de kendileriyle paylaşılan diğer projelerdeki veri kümelerini sorgulayabilir.

BigQuery, harici tablolar kullanarak GCS'deki veri göllerini destekleyebilir. Toplu yüklemenin yanı sıra BigQuery, saniyede yüzlerce MB'a varan hızlarda veritabanına veri akışı sağlama özelliğini destekler. Snowflake'te veri akışı desteği yoktur.

Yeni bir tabloya veri aktarma

1. Kaynaklar bölmesinde bq_demo veri kümesini seçin
2. Veri kümesi bilgi bölmesinde "Tablo Oluştur"u seçin
3. Kaynak için Google Cloud Storage seçin
4. Dosya yolu metin kutusunda:

gs://retail-banking-looker/district

5. Dosya Biçimi için CSV seçin
6. "Bölge" yazın Tablo Adı için
7. Şemayı Otomatik Algıla onay kutusunu seçin
8. Tablo Oluştur'u tıklayın.

Herkese Açık Veri Kümesini Sorgulama

1. Sorgu düzenleyicide aşağıdaki sorguyu girin:

SELECT
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    housing_units,
    vacant_housing_units_for_sale,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    ROUND(SAFE_DIVIDE(bachelors_degree_or_higher_25_64, pop_25_64),4) AS rate_bachelors_degree_or_higher_25_64
  FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`;

2. Çalıştır'ı tıklayın.
3. Sonuçları görüntüleyin

4. Şimdi bu herkese açık verileri başka bir sorguyla birleştireceğiz. Sorgu Düzenleyici'ye aşağıdaki SQL Kodunu girin:

WITH customer_counts AS (
    select regexp_extract(address, "[0-9][0-9][0-9][0-9][0-9]") as zip_code, 
    count(*) as num_clients
    FROM bq_demo.client
    GROUP BY zip_code
    )
SELECT 
    CAST(geo_id as STRING) AS zip_code,
    total_pop,
    median_age,
    households,
    income_per_capita,
    ROUND(SAFE_DIVIDE(employed_pop, pop_16_over),4) AS rate_employment,
    num_clients
FROM
    `bigquery-public-data.census_bureau_acs.zip_codes_2017_5yr`
JOIN customer_counts on zip_code = geo_id
ORDER BY num_clients DESC

5. Çalıştır'ı tıklayın.
6. Sonuçları görüntüleyin

5. Kapasite Yönetimi

Slotlar ve rezervasyonlarla çalışma

BQ, ihtiyaçlarınızı karşılamak için birden çok fiyatlandırma modeli sunar. Büyük müşterilerin çoğu, ayrılmış kapasiteyle tahmin edilebilir fiyatlandırma için temel olarak sabit ücretten yararlanır. Bu temel kapasitenin üzerine çıkan patlamalar için BQ, çalışırken ek kapasiteye ulaşmanıza ve ardından çalıştırma sorguları üzerinde hiçbir etki olmadan otomatik olarak küçülmenize olanak tanıyan esnek slotlar sunar. BQ, yalnızca çalıştırdığınız sorgular için ödeme yapmanıza olanak tanıyan bir bayt tarama modeline de sahiptir.

[Rekabetçi Konuşma Konusu: Bazı rakipler yalnızca, müşterilerin kuruluşlarındaki her iş yükü için sanal bir depo tahsis etmesi gereken sabit kapasite modeli üzerinde çalışıyor. BigQuery'yi kullanmaya başlamayı kolaylaştıran sorgu başına düşük maliyetli bir modelin yanı sıra boşta kalma kapasitesinin bir dizi iş yükü arasında paylaşılabileceği sabit ücretli bir kapasite fiyatlandırma modelini de destekliyoruz.]

1. Rezervasyonlar sekmesine gidin.

2. "Slot Satın Al"ı tıklayın

3. "Flex"i seçin olarak belirleyin.
4. 500 slot seçin.
5. Satın alma işlemini onaylayın.

6. Slot Taahhütlerini Görüntüle'yi tıklayın.
7. "Rezervasyon Oluştur"u tıklayın
8. Kullanıcı "demo" rezervasyon adı olarak
9. Konum olarak ABD'yi seçin
10. Slotlar için 500 yazın (tümü kullanılabilir)
11. Atamalar'ı tıklayın.
12. Kuruluş projesi için mevcut projeyi seçin
13. "Demo"yu seçin rezervasyon kimliği için
14. Oluştur'u tıklayın."