はじめに
KARTE Datahub（以下、Datahub）は、KARTEのデータ活用基盤として、データの集約・加工を通じて顧客施策に高い自由度を提供してきました。しかし、市場の拡大にともなって、必要とされる機能に変化が訪れています。SQLによるデータ加工は柔軟である一方、習得には訓練が必要です。データアナリストだけでなく、マーケターや事業部門のメンバーなど、多様な背景を持つユーザーがデータを活用できるように、より直感的なデータ操作インターフェースなどの、SQLだけに依存しないデータマネジメント方法を提供する必要があると考えています。 また、データ統合のトレンドも変化しています。従来はすべてのデータを物理的に一箇所に統合し、あらゆる企業活動に活用していくようなイメージでデータ活用が語られることが多くありました。しかし実際に取り組んでみるとデータの移動やデータ鮮度の維持、データガバナンスを維持することの難しさが明らかとなり、思ったようにデータ活用が進まないケースが多く見られました。そのため、従来の中央集権型から、セキュリティを考慮した分散型アーキテクチャへの移行が進んでいます。 これらの変化に対応し、Datahubは新しいデータプラットフォームとして進化を続けています。私たちは、最新のデータ技術とユーザーニーズを融合させ、次世代のデータ活用基盤を構築する挑戦に取り組んでいます。
データ活用の未来を共に創造していく意欲的なエンジニアを求めています。
プロダクト概要
Datahubは、KARTE内外のデータを統合し、多様なデータソースを活用できるプロダクトです。ユーザー情報の紐付け、接客アクションの最適化、高度なデータ分析が可能になります。SQLを使用したデータ抽出や、外部サービスとの連携も実現します。
- 機能の概要
- テーブルの作成
- クエリの実行、保存
- ジョブのスケジュール実行
- 可視化
- KARTE内での活用
- ユーザーへのデータ紐付け
- アクションからのデータ参照
- イベントデータの分析 など
参考資料：KARTE Datahubとは
取り組んでいるテーマ（課題と将来の展望）
SQL不要でデータを扱うことができる、非エンジニアとエンジニアのためのコラボレーションツールの開発
CDPとしてDatahubを提案する時の課題であるGUI不足とKARTEの複雑なデータ構造に対応するため、GUIとSQLを組み合わせたパイプライン構築を目指しています。異なるリテラシーのユーザーの協働を想定し、日常運用はGUI、複雑なデータ加工はSQLと使い分けを行い、開発コストを抑えつつ、段階的にGUI機能を拡張していく方針を考えています。複数のクエリ（GUIと生クエリ）を組み合わせ、部品ごとに改善可能なSQLパイプラインとして実装する。また、BigQueryに近いSQLを扱うことで、BigQueryの進化に合わせてDatahubも柔軟に進化し、常に最新の技術や機能を活用できる設計を目指しています。
エンタープライズ領域における要件に耐えうる次世代のデータ基盤
エンタープライズ領域での全データCDP集約には多くの課題があります。データの移動に伴うセキュリティリスクや、リアルタイム性を保つためのデータ鮮度維持の難しさ、さらには複雑化するデータガバナンスの管理など、その実現には多大な労力とコストがかかります。
これらの困難を踏まえ、DatahubはKARTEと併存するCDPとして位置づけています。エンタープライズ対応を進め、顧客側GCPプロジェクトとの柔軟な連携を可能にします。これにより、顧客やパートナーによる実装の自由度を確保しつつ、外部システムとの連携によるソリューション提供を目指します。
開発の軸となる機能として、メタデータ統合、クエリ実行、ゼロコピーアーキテクチャを意識した効率的なデータ活用を重視します。
- メタデータ統合 : 異なるデータソース間の関連性を明確化し、データの意味や文脈を理解しやすくします。
- クエリ実行機能 : 複数のデータソースにまたがる複雑な分析を可能にし、ビジネスインサイトの抽出を支援します。
- ゼロコピーアーキテクチャ : 大規模データの移動を最小限に抑え、処理速度の向上とコスト削減を実現します。
同時に、データアクセスは必要最小限に抑え、柔軟で厳格な権限管理を行います。Datahub外からのデータ操作は制限し、データの隠蔽方法も検討して、セキュリティと利便性のバランスを取ります。これにより、機密性の高い企業データの保護と、適切なユーザーによる効果的なデータ活用を両立させます。さらに、エンタープライズ顧客のニーズに応えるため、シングルテナント化の検討も進めます。これにより、顧客ごとに独立した環境を提供し、データの分離とセキュリティをより強化します。
KARTEとの相乗効果を最大化する製品群の構築を目指し、両システムの特性を活かした統合的なデータ活用を促進します。例えば、KARTEの行動データとDatahubの統合データを組み合わせることで、より精緻な顧客セグメンテーションや個別化されたマーケティング施策の実現が可能になります。
開発チームの働き方
開発アプローチ
日々のユーザーフィードバックに基づくボトムアップの改善から、全社的な戦略に基づくトップダウンのプロジェクトまで、状況に応じたアプローチをとっています。優先順位の決定は、エンジニアとプロダクトマネージャーで話し合い、チーム全体で行います。エンジニア・プロダクトマネージャーそれぞれの役割を超えて、チームで要件の整理から設計〜実装まで行うことが多いです。
開発サイクル
四半期ごとに大きな目標を設定し、進捗の共有や相談などは週次ミーティングで行なっています。Issueの管理は、GitHubのプロジェクトボードに集約しています。設計・要件の整理をしているタイミングなどはミーティングを頻繁に行うなど、状況に応じて同期・非同期のコミュニケーションを使い分けています。
技術スタック
プレイドのメインスタックであるVue.jsとNode.jsを中心に採用し、フロントエンドとバックエンドの開発を進めています。ただし、機能の要件に応じて柔軟に技術を選択しており、一部の機能では React なども活用しています。
プロダクトの性質上、大規模データ処理が重要な役割を果たしているため、BigQueryをヘビーに使用しています。また、インフラ関連の技術比重が高いのが特徴で、スケーラビリティと安定性に重点を置いた開発を行っています。
ワークスタイル
基本的には個々人に任せていますが、Datahubチームでは火曜・金曜を推奨出社日とし、対面でのコミュニケーションの機会を大切にしています。業務時間に関しては決まったものは設定していないですが、子育てをしている人も多いため、9:00-18:00頃に働くメンバーが多い傾向にあります。
チーム構成
Team Head、プロダクトマネージャー(2名)、エンジニア(5名)、デザイナー(2-3名)など、多様なスキルを持つ約10名のメンバーで構成されています。※2024年10月現在
関連記事
