Data Engineering

はじめに GLB事業部Lakehouse部の阿部です。 先日、Databricksの認定資格であるData Engineer Professionalに合格しました。 credentials.databricks.com 本記事では、試験の概要と試験対策についてAssociateとの比較も含めて述べております。 Data Engineer Associate合格に向けた試験対策については、以下のブログに記載しております。 こちらも見ていただけると幸いです。 techblog.ap-com.co.jp 目次 Databricks Data Enginner Professional（DDEP）と…

当記事は、dbtのカレンダー | Advent Calendar 2023 - Qiita の23日目の記事です。 こんにちは、株式会社CARTA MARKETING FIRMのデータエンジニア、@pei0804です。データエンジニアリングのほか、組織運営やデータエンジニア育成にも携わっています。 本記事では、Snowflakeを中心とした当社のデータ基盤「Vision」と、その中核であるdbtの利用について深掘りします。dbtを活用することで、SQLのみでデータパイプラインを効率的に構築し、作業の効率化を図っています。 dbt導入の詳しい導入背景は以下のスライドでご覧いただけます：広告レポー…

こんにちは、株式会社FLINTERSに出向中の松田です。 10周年記念として133日間ブログを書き続けるチャレンジの27日目の投稿になります。 本記事はAirflow Paramsを利用して各DAG実行に対してパラメータを渡す・参照する方法について紹介する入門的な記事になります。 ※ 本記事のスクリーンショット、コードはAirflow 2.5で確認しています。 はじめに DAG実行時にパラメータを渡す パラメータの仕様を設定する パラメータを参照する パラメータ参照で躓いた点 おわりに 参考 はじめに AirflowのDAGを実行する際に、実行毎に何らかのパラメータを与えて実行したい場面がある…

こんにちは、技術開発の三浦です。 "Minecraft"というゲームが好きで、かれこれ1年以上時間があれば遊んでいます。次の日が休みの夜は、パソコンを開き、Minecraftを立ち上げてもくもくと洞窟の中をピッケルで掘り進めます。何時間も暗い洞窟を掘り進めながら、この1週間あったことなどを振り返るのが週末の私のルーティンになりました。(はてなブログでは今週のお題「マイルーティン」で記事を募集しているそうなので、私のルーティンを紹介させて頂きました！) さて今回の記事も、ルーティンワークの見直しに少し関係しています。最近深層学習の領域に力を入れていて、テキストや画像といったデータを自分たちでアノ…

Microsoft Fabricは、データの移動や処理、変換、リアルタイム分析、レポート作成などの機能を統合した企業向けのSaaS型プラットフォームです。 今回は、試用版のMicrosoft Fabricを使用して、Microsoft Fabricに取り込んだ2つのデータ（日本のGDP成長率と失業率）を結合し、相関関係を可視化する方法をご紹介します。 データソースの準備 データソースの取り込み データの加工 データフローへのインポート データ構造とデータ型の変換 エラー値と空白行の削除 テーブルの結合 公開先の指定 データの可視化 まとめ データソースの準備 今回は、World Bank Gr…

現在、 Azureの統合データプラットフォーム SaaS であるMicrosoft Fabric （以降、Fabric）について勉強しています。 今回は、Fabricを利用するにあたって、まず最初に理解するべき構成要素について調べた内容をご紹介します。 Fabricとは Fabricの構成要素 テナント Fabric有効化 ドメイン Fabric容量 SKUとCU Fabric容量 の払い出し ワークスペース ワークスペースライセンスモード ワークスペースライセンスモードの各ライセンスモードと機能 ワークスペースライセンスモード と Fabric ユーザーライセンスの組み合わせ ワークスペース…

最近諸事情がありまして、プライベートでLLMをガチャガチャいじっていたんですがChatGPTの請求がとんでもないことになっていました。 流石にコストかかり過ぎだということで、コストが安いGemini 1.5 Flashを使うことを検討しています。 LlamaIndexでGemini 1.5 Flashを使うという文献があまり見つからなかったので、今回はLlamaIndexでGemini 1.5 Flashを使ってみたやり方の備忘録です。

本記事について 機械学習システム設計の面接対策本である「Machine Learning System Design Interview」を読んだ時の読書メモです。 本書についての紹介記事は以下となってます。 nsakki55.hatenablog.com 本書の公式HP bytebytego.com 1. Introduction and Overview MLシステムデザインを行うためのフレームワークを作成 Clarifying requirements Framing the problem as an ML task Data preparation Model deployment …

はじめに Fundamentals of Data Engineering の日本語版がデータエンジニアリングの基礎として出版されています。常々読んでみたいと思っていましたが、自分の英語力では挫折することは目に見えていたので手を出すことはできませんでした。しかし、日本語版が出ることをしてこれは買うしかないと興奮気味に本屋に向かったのをよく覚えています。 本記事ではデータ基盤の構築から運用をしている私がデータエンジニアリングの基礎を読んで、刺さったことや大事だなと思ったことを経験と希望を交えてメモ代わりに綴っていこうと思っています。 データエンジニアリングってなに？ 大層なことを言える立場ではな…

Microsoftが提供しているSaaS型のサービスであるMicrosoft Fabricを使用して、機械学習を用いた予測レポートを作成してみたいと思います。 以下のMicrosoft Learnの記事を参考に作業していきます。 データ サイエンス チュートリアル - 概要 - Microsoft Fabric | Microsoft Learn なお、本記事の作業ではMicrosoft Fabricの試用版を使用しています。 作業全体の概要 事前準備 ノートブックファイルのダウンロード レイクハウスの作成 ノートブックファイルのインポート データのインポート 作業内容 データの内容について …

Microsoft Fabricとは、データ移動からデータ サイエンス、リアルタイム分析、ビジネス インテリジェンスまでのすべてをカバーする企業向けのオールインワン分析ソリューションです。 今回は、試用版のMicrosoft Fabric（以降Fabric）を利用して、Fabricに取り込んだデータをPower BIで表示する方法を前編・後編に分けて紹介します。 本記事では、まず前編として、データの取り込みからSQLの実行までを説明します。 ※ Fabricの試用版を利用するには、以下のリンクから手順を確認してください。 始める | Microsoft Fabric ワークスペースの作成 デー…

Microsoft Fabricとは、統合ソリューションを必要とする企業向けに設計されたエンドツーエンドの分析およびデータプラットフォームです。SaaS型のサービスとして提供されています。 今回は、そんなMicrosoft Fabricを使って半構造化データを取得し、グラフ作成による可視化まで行う方法をご紹介します。 実施概要 事前準備 実施手順 レイクハウスへのJSONファイルアップロード レイクハウスの新規作成 JSONファイルのアップロード データフロー Gen2を用いたデータの変換、テーブル作成 データフロー Gen2の新規作成とデータ取得 テーブルへの変換 データ型の自動変換 データ…