Databricks Data+AI Summit 2025への参加

サンフランシスコ市内とイベント会場について

まずは、イベントが行われたサンフランシスコ市内の様子と、イベント会場についてレポートします。

サンフランシスコ市内について

サンフランシスコ市内は6月でも寒く、朝晩はセーターやダウンジャケットを着ている人も見かけます。市内では、Waymoの自動運転サービスが運用されており、ぜひ体験してみることをお勧めします。しかし、今回はロサンゼルスでWaymo車両が放火される事件の影響で、中心部での運用は中止されていました。Waymoはサンフランシスコ市内で指定の乗降場所が決められており、5分程度歩けば乗降場所に到着できます。去年Waymoに乗った際にも、車を叩いたりしている人が見受けられました。運転手がいないため、攻撃対象になりやすいようです。また市内の様子については、昨年は路面店の廃業が目立っていましたが、今年はやや回復傾向にあるように感じました。

Data+AI Summitの会場について

サンフランシスコ市中心部のSFMOMAの隣にあるモスコーニ・センターで開催されました。去年までは、North/ South /Westの3会場で開催されていましたが、今年はホテルも会場として活用されていました。宿泊するホテルはSummitのページから通常よりも安い価格で確保可能ですが、ホテルによっては確保分が売り切れてしまうため、2カ月程度前にSummitページからホテルを予約するのがお勧めです。以前はKeynote会場となる地下1階は2つに仕切られていて、1つは朝食会場となっていましたが、今回は仕切りが無く、ほぼ倍近くの人数をKeynoteで収容していました。朝食会場は近くの公園内に設けられていましたが、屋外のため寒風の中での朝食となりました。今回は会場周辺に多数の警察官が配置されており、2日目の午前にはサンフランシスコ市長も登場して、安全確保をアピールしていました。

Data+AI Summit 2025で発表された内容

Data+AI Summitの最後のリキャップでは、Lakebase・Agent Bricks・Spark Declarative Pipelines・Lakeflow・Lakeflow Designer・Unity Catalog Metrics・Lakebridge・Databricks AI/BI・Databricks Apps・Free Editionの10項目が挙げられていました。様々な発表がされましたが、Databricksが重要と考える発表が、この10項目です。

個人的に特に興味深かったのは、Lakebase、Lakeflow、Databricks AI/BIの3つでした。

• Lakeflow(ETL)
  • ZeroHub構想により、ETL処理とリアルタイム処理の市場に本格参入
  • Spark Declarative PipelinesとしてETL処理部分はオープンソース化
  • 飛び道具として、Lakeflow Designerを提供して、AI融合と簡単デザインを標榜
  • これまではETLベンダーと良好な関係を築いてきたが、今回は明確に比較し、自社の優位点をアピール
• Lakebase（RDB)
  • PostgreSQLを基にしたデータベース。Relational DB(OLTP)市場への参入
  • ストレージとコンピュートを分離した設計で、ストレージはS3などのオブジェクトストレージを利用
  • AI時代のAI Agentが使うデータベースとしてアピール。Vibe CodingでエージェントがDBを作成する際にも親和性が高い
• Databricks AI/BI
  • Genieの成功を受けて自信を深めたDatabricksは、ダッシュボード市場に本格的に進出
  • Genie Deep Researchで企業内データを元にした原因分析(例：何故売り上げ下がったか?)が可能
  • Databricks Oneは今後、ビジネスユーザ向けのランディングページとなり、統合されたUIを提供予定

LakeflowとLakebaseはすでに提供が開始されており、それぞれの機能を2025年6月19日現在のDatabricksの画面を見ながら確認します。

Lakeflow

去年発表されたLakeflowがLakeflow Connect/Lakeflow Declarative Pipelines / Lakeflow Jobsを含んだ形で、GA(正式提供)となりました。ETL処理部分の記述を簡単にする、Lakeflow Designerが発表され、その前身となる「Develop and debug ETL pipelines with the multi-file editor in Lakeflow Declarative Pipelines」がベータ提供されています。

https://www.databricks.com/blog/announcing-general-availability-databricks-lakeflow

正式リリースに伴いDatabricksのメニュー画面も変更が加えられ、データエンジニアリング画面は「ジョブラン」・「データ取り込み」・「パイプライン」の3つとなりました。データ取り込みに関してはLakeflow ConnectのDatabricksコネクターが優先的に表示されるようになり、今まで大きく取り扱われていたFivetranコネクターの扱いが小さくなりました。

「Develop and debug ETL pipelines with the multi-file editor in Lakeflow Declarative Pipelines」は、従来のパイプラインに対してノートブックが関連づけられていた仕組みから、フォルダとファイルが紐づく仕組みに変わっています。1つのフォルダでデータパイプラインが管理できるようになり、Git連携やCI/CDとの親和性も高くなっています。画面を見ると、ここに今後AI機能が加わることでLakeflow Designerになると予想されます。

https://docs.databricks.com/gcp/ja/dlt/dlt-multi-file-editor

Lakebase

今回の一番の驚きは、Lakebaseが買収して間もないのにすでにパブリックプレビューとして、利用が可能となっている点でした。Lakebaseについて、Data+AI Summitでは、今までアプリが使うトランザクション処理が可能なDBから、Databricksのような分析用のDBにデータを吸い出す作業にストレスを抱えていてDatabricksがアプリ用のDBを提供する事で、分析DBとのシームレスな連携を実現するとしています。買収元のNeonの面白いデータも紹介されており、最近ではDBの作成が従来の人から、AIに移行しているとの紹介もありました。特徴として、あらかじめ指定している期間(標準7日、最大35日)から自由な時間を指定して、子インスタンスが作成可能なことです。これにより指定時期でのDBを作成してテスト等ができるようになります。Databricks上ではOLTP Databaseとして利用が可能となっています。

所感

Data+AI SummitはKeynoteで素晴らしい発表があり、日本から参加した方や現地の方とも親交を深められる良いイベントです。メインは水・木のKeynote日で、ほとんどKeynoteを聴くためのイベントになってしまっているのが残念です。ブレイクアウトの日程含めて、全体の日程が何とかならないのかと毎回考えてしまいます。ブレイクアウトセッションは、講師がDatabricks社員の場合、基本機能の説明に終始しがちで、期待外れになる場合があります。開発者との交流や、裏側の仕組みの解説、実例に基づく注意点などがあれば、より良いと感じます。また、新機能が発表されても、リリース前の場合、その後のブレイクアウトセッションで詳細な説明がないのが不満です。ブレイクアウトセッションでは、ユーザのユースケース紹介も多数開催されており、ユーザ自身が興味深い事例を語ってくれるので、そちらの方がお勧めです。特に今回は、Pradaによるセッションが興味深かったです。

※本記事の内容は執筆者個人の見解であり、所属する組織の見解を代表するものではありません。