こんにちは、primeNumberです。
昨年に引き続き、今年も横浜市立大学で、1年生向けの講義を行いました。
この講義は、メディアや放送、金融、メーカーなど多種多様な企業が登壇するオムニバス講義「PBL入門」の1コマとして実施。昨年は2名体制で臨んだ講義ですが（昨年のレポートはこちら）、今年は横浜市立大学データサイエンス学部の卒業生でもある小宮山さんが、母校の後輩たちに向けて単独で講師を務めました。
卒業生だからこそ伝えられる、学生時代と現場のギャップ
プロフェッショナルサービス本部 データアナリストの小宮山さん、普段はTROCCOを使ったデータパイプラインの構築やダッシュボード作成を担当しています。
今回の講義では、「データエンジニアリングとは何か、そしてなぜデータエンジニアリングが必要なのかについて理解を深める」というゴールを設定。自身の学生時代の経験を交えながら、データサイエンスの華やかな分析を裏側で支える、データエンジニアリングの重要性を解説しました。
小宮山さんが特に強調したのは、学生時代と現場で見えるデータの世界の違いです。
「このギャップを埋めるのが、データエンジニアリングです」と小宮山さんは伝えました。
実際の現場で起きた問題から学ぶ、合意形成の重要性
小宮山さん自身が業務で経験した現場の問題も紹介。あるアプリに関する施策の効果を検証しようとしたところ、ログデータとアンケートデータで数字が一致せず、本来したい議論に進めない状況が発生したそうです。
調査したところIDや集計の定義、運用方法が揃っていないことが原因だったため、小宮山さんは関係者とコミュニケーションを取りながら、ID統合の方針を決め、集計定義を明確化し、運用変更時の影響範囲を可視化していったといいます。
小宮山さんは「データエンジニアリングは技術だけでなく、関係者を巻き込んで合意形成し、継続的に運用していく力も求められます」と解説しました。
卒業生の立場で学生からの質問に答える
講義の後半では学生たちから活発な質問が寄せられました。
Q：横浜市立大学のデータサイエンス学部で学んで良かったと思う技術はありますか？ また、社会人になって学んだことは？
小宮山さん：データの見方や触れ方といった基礎的な部分は、学生時代に学んで本当に良かったと思います。データサイエンス学部でデータに触れる経験を積んでいたことは、現場のスピード感にアジャストする際、自分にとっての土台になってくれました。
一方、データエンジニアリング全般は、学生時代にはなかなかキャッチアップできない領域でした。実際に就職して働く中で身につけていった部分が大きいですね。
Q：入手したデータをどこまで使って良いか、判断に迷うこともありますか？
小宮山さん：基本的には関係者との合意形成が全てです。これはデータに限らず、ビジネス現場の基本ですね。個人情報保護ガイドラインやコンプライアンスをベースに、「こういう用途で使います」「ここまでは使いません」という方針を立て、お客様と合意した上で作業を進めていくのが基本的な流れです
Q：データエンジニアリングがAIなどによって半自動化される未来は来るでしょうか？
小宮山さん：ChatGPTのDeep Researchのようなエージェント機能が、すでにデータエンジニアリング領域でも広がっています。半自動化は確実に進んでいくでしょう。
ただ、AIがアウトプットしたものを実装に移すか、それが良いか悪いかを判断するのは結局私たちです。Deep Researchの結果を評価するのと同じですね。そのためには、やはり基礎知識が必要です。
TROCCOを使った実践デモ
講義の最後には、primeNumberが提供するクラウドETL「TROCCO」の実演も行われました。
APIからデータを取得し、Google BigQueryというデータウェアハウスに転送、さらにSQL で加工して使いやすい形にする一連の流れを、実際の画面を見せながら解説。データ転送、データマート定義、ワークフロー管理という3つの基本機能を通じて、「手作業でやっていた細かい作業をツールに任せることで、データサイエンティストは本来の分析業務に集中できる」というメリットを伝えました。
今回の講義が、データ活用の未来を担う学生の皆さんにとって、学生時代と現場のギャップを知り、データを通じて社会に価値を届けるために何が必要かを考える一歩になれば幸いです。横浜市立大学の皆さん、今年もありがとうございました。
primeNumberでは今後もこうした産学連携の試みを通じて、データやデータエンジニアリングの意義を伝えていきます。ご興味のある学校の方はぜひご連絡ください。
