はじめに GLB事業部Lakehouse部の佐藤です。 これから始まる本ブログシリーズでは、Databricks上でのdbt活用に役立つ実践的なTipsをお届けします。初めてdbtに触れる方から、既に使い慣れている方まで、幅広い層に向けた内容となっています。また、11月には…
プライバシーセーフなRAGモデルを用いたコンテンツ作成のスケール化：新たな可能性 プライバシーとセキュリティの強化：カスタムソリューションによるアプローチ 世界のプライバシー規制を渡り歩く カスタムソリューションの必要性 VerbiGPTのセキュアなコン…
イントロダクションとフレームワークの概要 このセッションでは、AIとデータセキュリティのギャップを埋めるために設計された重要なイノベーションであるDatabricks AIセキュリティフレームワーク（DASF）を紹介しました。その目的は、セキュリティの風景で…
イントロダクションと概要 スピーカーとCondéについて 'Graphite'の開発の概要 データプラットフォームの構築 私たちは誰？ コンデとは？ Graphiteの紹介 グラファイトの目的と課題 データ製品の定義 データ製品のユーザー中心の設計 データから行動可能な洞…
AIシステムの統合と生産の課題の克服 スケーラビリティ、モニタリング、パフォーマンス評価 スケーラビリティの問題 大幅な改善を伴う新バージョンの導入 パフォーマンスの最適化 チームの成果に対する誇り 結論 このセクションでは、Generative AIにおける…
導入とケーススタディ概要 Delta Lake UniForm 課題とアーキテクチャの進化 Wayne Enterprise：シナリオと直面した課題 移行シナリオ 現行アーキテクチャ 現行アーキテクチャの問題点 解決策の探求 複数のオープンデータフォーマットに対応 Unity Catalog に…
イントロダクションと戦略的概覽 初期の課題と解決策 セッションの概要 セクションのテーマ：GenAIの実装と反復的な開発 音声データの分析 非構造化データの構造化 データ集約 結論 イントロダクションと戦略的概覽 皆さん、こんにちは。本日はマンカインド…
Apache Sparkの導入と遺産 Spark Connectの向上 Spark Connectとは何か？ Spark Connectの重要性は？ 強化されたSpark Connectの利点 多相解析の重要性 実装の洞察 開発の利点 Apache Spark 3.5におけるストリーミングの改善と将来の展望 結論 Apache Spark…
リアルタイムデータ処理の紹介 皆さん、こんにちは。私は最近、50 Cent Mediaのデータリードで、製品マネージャーであり、開発マネージャーでもあるGordon Benderによる興奮したセッション"Databricks Streaming – Project Lightspeed Goes Hyperspeed"に参…
導入と初期の利点 実用的なデモンストレーションとプライバシーの問題 プロダクションスケールのAIパイプラインでのベンダーロックインの回避とデータの移植性を確保する方法 DBRX、Spark、および LanceDBを使用した完全プライベートな公開規模のOSS RAGパイ…
伝統的なデータ共有の制約を克服する 伝統的なデータ共有の課題 オープンな協調プラットフォームの導入：Databricks Databricksによる協調的なデータ共有 Databricksマーケットプレイスの拡大 Databricksマーケットプレイスにおける成長とイノベーション Dat…
Unity Catalog: 歴史と主な特徴の追跡 Unityカタログにおける新たなガバナンス機能とオブジェクトタイプ 改善されたガバナンス機能と進化したオブジェクトタイプ Unity CatalogとHive Metastore Federationによる効率的なデータ移行 Hive Metastoreとの統合 …
歴史的データクエリの活用 モデルのパフォーマンスとビジネス成果の向上 セキュリティとガバナンスの向上 モデルトレーニングとデプロイメント：実用的アプローチ モデルトレーニングプロセス ステップ 1: モデル構築 ステップ 2: 実験とトレーニング MLOps…
はじめにと背景 MLOpsの導入とソリューション 標準とCI/CDの実装 MLOpsの使用におけるデモンストレーションと向上点 デモンストレーションの概要 技術的な改善点 実用的な応用 レビューと将来の方向性 MLOpsを実装する重要性 Databricksの役割 将来の展望 は…
セッション概要 セクションテーマ: 初期の課題と現代化の必要性 現代のデータアーキテクチャの構築について考える データウェアハウス：運用上の課題と解決策 ステージングエリアの障害 強固なデータアーキテクチャの策定 データセキュリティとガバナンス デ…
データ+AI サミット: オープニングハイライトと業界の貢献 AI導入の課題と解決策 データ管理とAI統合の革新 自動車業界におけるAI駆動の変革 データとAIの融合：多様な業界へのAI活用 データ+AI サミット: オープニングハイライトと業界の貢献 データ+AI サ…
FreewheelとBizWaxの紹介 Beeswaxデータプラットフォームアーキテクチャ Databricksへの移行に関する詳細な説明 パフォーマンス最適化テクニック 1. Spark StreamingとKinesis Stream 2. DataStreamWriterの設定 3. ForEachBatchメソッドの利用 DataFrame AP…
統合アーキテクチャへの進化 標準化とガバナンス：ABN Amroのデータアーキテクチャ戦略 中央集権的な管理とデータ共有 コンプライアンスとオーケストレーション 統合アーキテクチャへの進化 当初、ABN Amroのデータチームは、ドメイン固有のデータアプリケー…
イントロダクション セクション：埋め込み計算とLLMの幻覚 AnyScaleのAIプラットフォームと「Read Data」ライブラリに焦点を当てる 1. 分散レイヤーとしてのRAGの呼び出し 2. AnyScaleライブラリの統合 3. 「Read Data」ライブラリの活用 RAGと非RAG実装の比…
導入とアジェンダの概要 本日は「データとGenAIエコシステムの構築、Databricksへの移行」というタイトルのセッションにご参加いただき、ありがとうございます。このプレゼンテーションでは、今日の変革的な技術環境で成功するために不可欠な堅牢なデータとA…
レガシーシステムに関する課題についての洞察 1. 古いシステムからの移行 2. クラスターの問題と影響 3. 古いアプリケーションとノイジーネイバーシンドローム 評価と意思決定プロセス コストに関する懸念 Airflowに関する懸念 UdemyのDatabricksへの移行戦…
イントロダクションとスピーカーの概要 皆さん、こんにちは。私はDatabricksのプロダクトスペシャリスト、Michael Schermerです。今日は、Hapag-Lloydでの監査プロセスを強化するための生成AIの変革的な応用について探求します。私はHapag-Lloydのコーポレー…
SEA-LION: 東南アジアの多様な言語をLLMで表現する 本日、AIシンガポールが主催する「SEA-LION: 東南アジアの多様な言語をLLMで表現する」というセッションが開催され、DatabricksのEGとEJを含む講演者が、大規模言語モデル（LLM）を使用して東南アジアの広…
はじめに このブログで使用したノートブック 前提条件 ノートブックの概要 検証結果 類似検索 おわりに はじめに GLB事業部Lakehouse部の佐藤です。 この記事では、DatabricksでのVectorインデックスの作り方と、Vectorインデックスを使っての類似検索につい…
はじめに このブログで使用したノートブック 前提条件 ノートブックの概要 検証結果（前半） 検証結果（後半） おわりに はじめに GLB事業部Lakehouse部の佐藤です。 この記事では、Databricks モデルサービングへのモデルのセットアップ方法についてご紹介…
はじめに 前提条件 接続手順 ODBCドライバーをインストールする アクセストークンを発行する Tableau Desktopを接続するSQLウェアハウスでサーバーのホスト名・HTTPパスを確認する Tableau DesktopからDatabricksに接続し、資格情報等を入力する 参考資料：D…
