初めまして、GMOアドマーケティング インフラ開発部のhakumaiです。 今年1月にHRTech系企業からGMOアドマーケティングに転職してきました。 現職では、女子向けメディア「めるも」のインフラ業務に携わり、日々業務に励んでおります。 今回は、私が転職してみて感じたインフラ技術のギャップの一部についてお話しいたします。 前職でのインフラ環境・経験について 前職のHRTech企業で触っていたインフラ環境は、ほぼAWSでした。 インフラの保守運用業務に加え、新規プロダクトのインフラアーキテクチャ設計構築を経験したこともあり、 VPCやEC2・RDS・S3・ECSなど基本的なAWSのサービスについての知識はある状態でした。 ちなみに、AWSのソリューションアーキテクトアソシエイトも取得済みです。 また、GCPは全くの未経験でした。 アドマのインフラ環境について 一部オンプレもありますが、環
はじめに こんにちは。メディアプラットフォーム本部 WEAR部 WEAR-SREの笹沢（@sasamuku）です。 ZOZOが新しく展開する「FAANS」というショップスタッフ向けアプリをクローズドβ版としてテスト運用しています。本アプリは、WEARと連携したコーディネート投稿や、その成果を可視化する機能などをショップスタッフの皆さんに提供するtoBのソリューションです。現在、正式リリースに向け開発を進めています。 そして、FAANSのAPIはCloud Runと呼ばれるサーバレスなコンテナ実行基盤で稼働しています。本記事では、FAANSの実行基盤としてCloud Runを選定した理由や、構築・運用するためにSREとして取り組んだことをご紹介します。 Cloud Runを選んだ理由 まず、クラウドサービスはGCPを選択しています。FAANSでは開発速度の向上と運用負荷の軽減のため、認証やメ
クラウド移行で明らかになった既存のセキュリティ監査の限界 モバイルゲームからEコマース、スポーツ、ヘルスケアまで多角的に事業を展開するディー・エヌ・エー（以下、DeNA）。その同社が2018年度から3カ年計画で取り組むのが、オンプレミス環境で運用する社内外サービスのパブリッククラウド全面移行だ。3年目となる2020年現在、約60の部門がクラウドを活用。Amazon Web Services（AWS）で250アカウント以上、Google Cloud Platform（GCP）で600プロジェクト以上が稼働しており、今も毎月10個のペースでアカウントやプロジェクトは増えているという。 だが、移行が加速する中で、同社セキュリティ部はある重大な問題に直面した。それは、既存のセキュリティ監査方法が新しい環境にマッチしていないという課題だ。「ITmedia Security Week 2020冬」の講
こんにちは、GCP Xの堀江(@RH_nage)です！ 前回の記事では、スタートアップ経営における共通の地図の1つとして取締役会資料を捉えてみることで、意外な価値がもたらされる、という話を書きました。 本記事では、それを具体的に実現するための取締役会資料の設計思想について書きたいと思います。 スタートアップの取締役会の場で、以下のような話題になったことはありませんか？ ・売上やプロダクトについてはいい議論が出来ているけど、そもそも採用の話はどうなっているんでしたっけ？ ・財務情報、KPIなどの定量情報は色々開示してくれるけど、これだけみても実際何が起こっているのか掴みずらい ・KPIのこの数字は内訳を見てみないと判断できないし、逆にこっちの数字は細かすぎて全体が掴めない抜け漏れがあったり、情報の粒度が粗すぎたり細かすぎたり、、取締役会資料に限らず、会議体の資料には日常茶飯事に起こる事象な気
酒とゲームとインフラとGCP 第18回 発表資料
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... DWH BigQuery BigQueryはフルマネージドなサーバレスDWHサービスで、Googleが開発した大規模データ向けの分散システムであるDremelを基にしておりSQLクエリを使用して大規模データの分析を行うことができる。さ
やりたいこと kaggleなどのコンペ参加時にColabで計算して、wandbなどの実験管理ツールを使いたい。 現状wandbなどのAPI keyが生のままColabに貼っているので、そのままgithubにpushできない。 driveにtxtやyamlファイルを置いて管理すると、自分の性格上散らかすと分かっているので、GCPのサービスを使ってバージョンを含めて一括管理したい。 やったこと GCPのSecret Managerを使ってAPI keyを秘匿化して、Colabで呼び出した。 やりかた GCP上の設定 自分のGCPのコンソールを立ち上げて、Secret Manager APIを有効化する。 そのままUI上で作成する。 有効化されているのを確認する。 これで設定は終わり。 Colab上の設定 参考googleの公式レポジトリ
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「AWSエンジニアから見たGCPサービス(DB/ストレージ編)」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話」を読んでいただいた方々、ありがとうございます。 今回は「AWSエンジニアから見たGCP」をテーマにし、いくつかのDB/ストレージ系のGCPサービスについてAWSと比較し感じた点についてお話いたします。 オブジェクトストレージCloud StorageAWSではS3に相当するストレージサービス。ストレージクラスの概念や耐久性(イレブンナイン)、ライフサイクルルール/ACLでのアク... 今回は、GC
はじめに そもそもcommmune って何？ サービスの紹介 特性について 旧アーキテクチャとその問題点 問題１：増減するトラフィックに対してコスト最適なマシンスペックを設定するのが運用上難しかった 問題２：トラフィックのスパイクでサービスが過度に不安定になっていた 問題３：動作環境としてのVMの管理が煩雑になってしまっていた 打ち手としての新アーキテクチャ 新アーキテクチャ サービス選定の内訳 成果 新たな課題 最後に はじめに こんにちは。 前原夏樹と申します。 コミューン株式会社のSREチームでアクティングマネージャーをしています。 今日は当社のプロダクトであるcommmuneのアーキテクチャについてざっくり紹介していきたいと思います。 今回公開に至った動機としては知見の共有が最も大きいです。 運用負荷が比較的低いマルチテナントSaaSのアーキテクチャの具体的な一例として、どのような
株式会社ヘンリーでSREをしているsumirenです。 ヘンリーではオブザーバビリティバックエンドにHoneycombを採用しています。 Cloud Runでサービス間通信をしている場合、こうした外部オブザーバビリティバックエンドとOpenTelemetryを使うと、トレースが途切れてしまう課題があります。 解決してから1年弱経ってしまったのですが、対処事例を紹介します。 Cloud Run + OpenTelemetry + 外部バックエンドでトレースが途切れてしまう理由 途切れてしまう理由を解説するために図解を用意しました。ここでは2つのCloud Runアプリケーションがサービス間通信を行い、番号順に処理を行ってトレースを生成しています。便宜上各アプリケーションはスパンを1つしか生成しない形で図解していますが、スパン数が増えても問題の本質は変わりません。またトレースIDやスパンIDは
※2022-06-07 システムアーキテクチャの画像を修正しました。 はじめに こんにちは、MA部MA基盤ブロックの齋藤（@kyoppii13）です。 ZOZOTOWNではアプリ向けのキャンペーンやセール情報などの配信でプッシュ通知を利用しています。プッシュ通知で配信するキャンペーンはセグメントに向けたマス配信のみで、ユーザごとにパーソナライズして配信するためのパーソナライズ配信には利用していませんでした。また、パーソナライズ配信の中にはリアルタイム性が求められるキャンペーン配信も含まれます。そこで、リアルタイムキャンペーンでプッシュ通知するための配信基盤を作成しました。 本記事では、リアルタイムなプッシュ通知を実現するために作成したシステムの紹介と、安定した配信を実現するために行った工夫について紹介します。 はじめに 従来のプッシュ通知と課題 従来のプッシュ通知 問題点 導入した配信基盤
概要 この記事は 一休.com Advent Calendar 2023 16日目の記事です。 RESZAIKO開発チームの松村です。 一休では各サービス毎に、開発中のサービスの動作を社内で確認できる環境があります。 それぞれmain(master)ブランチと自動的に同期している環境と、特定のブランチを指定して利用できる環境の2種類があります。 今回、RESZAIKOの新規サービス(予約画面)に対してブランチを指定してデプロイできる環境を作成したので、その方針と反省点と今後について記述していきます。 現在運用中の予約画面 開発環境を作る理由 一休では長らく、EKS上に複数の環境を用意して、ブランチを指定すると開発環境にデプロイするシステムが利用されてきました。 一般的にこのような環境を構築するのは以下のような理由が挙げられます。 動作確認 マイクロサービスで、異なるブランチ同士の組み合わせ
AIや機械学習アルゴリズムの開発手法の一つである「MLOps」（エムエルオプス）という手法が、いま注目を集めている。ソフトウェア開発者と運用担当者がお互いに協力することで開発を迅速に進める取り組みや文化である「DevOps」の「ソフトウェア」の部分を「機械学習」に置き換えたものをMLOpsと称し、AIを自社開発する企業での導入が始まっている。 MLOpsでは、AI開発に関わるデータサイエンティストや機械学習エンジニアなどが連携し、AIの開発、運用を行う。そうすることで、複雑なワークフローを構築しても管理や自動化が容易になり、開発が加速化するなどの利点が生まれる。 ただし、企業の体制によってはこの実施が難しい場合もある。エンジニア側に工数が集中することもあれば、データサイエンティストが機械学習モデルの作成に集中できないこともあるからだ。 こうした課題を解決する方法として、「Light MLO
※ 今はGitHub ActionsでOIDCが使えるので、本記事の内容は少し古いです。*1 現場のルール等で「インフラを触るワークロードはオンプレでしか動かしてはならない」みたいなルールがある場合には多少参考になるかと思います。 SREのたっち(@TatchNicolas)です。 JX通信社では「インフラチーム」のようなものは存在せず、開発したチームが運用までやるFull-cycleなスタイルを取っています。AWS・GCPリソースの管理も特定のメンバーが担当するのではなく、必要とする人が必要な時に作成・修正等を行います。すると、terraformなどIaCのツールを利用する場合に「今リポジトリにあるコードは実態を正しく反映しているのか」「誰かが矛盾する変更を加えていないか」という問題が発生します。 CIツール上でterraformを実行することで、問題の一部は回避できるかもしれませんが、
アプリ開発者、DB 管理者視点での Cloud Spanner 活用方法 | 第 10 回 Google Cloud INSIDE Games & Apps Online
はじめに こんにちは。 CX部門 データ・AI戦略室 データ戦略Gの田中です。 ぐるなびには2018年に新卒として入社し、レコメンドエンジンの開発や在庫・予約関連のデータ分析等に携わってきました。 現在は主に検索結果の並び順アルゴリズムの改善を行っています。 私たちのチームではアルゴリズム自体の改善に伴い、MLOps（機械学習の運用改善）にも取り組みました。 今回は、 MLOpsとは どうやって導入したか 導入で何が得られたか についてお話ししていきたいと思います。 検索アルゴリズム改善プロジェクトについて 検索の並び順アルゴリズム改善のプロジェクトが始まったのは約2年前でした。 それまでの並び順は複雑なルールベースで決められていました。 そこで機械学習のモデルを用いてより効果的な並び順を予測し、検索結果の改善・CVRの向上を試みました。 2020年の2月からプロジェクトがスタートし、3月
Googleは2013年には「Googleリーダー」を終了、2018年には「Google＋」を終了といったように多数のユーザーを抱えるプロジェクトをバッサリ終了してきました。新たに、IoTデバイス管理サービス「Cloud IoT Core」のサポート終了がひっそり告知されています。 Cloud IoT Core release notes | Cloud IoT Core Documentation | Google Cloud https://cloud.google.com/iot/docs/release-notes Cloud IoT Coreは、Googleのクラウドプラットフォーム「Google Cloud」を用いてIoTデバイスを管理できるサービスで、IoTデバイスのモニタリング機能やメッセージの双方向通信機能を提供していました。しかし、Cloud IoT Coreは
Cloud compute is usually seen as an ethereal resource. You launch VMs and spin them down, billed to the second. The billing and the mental model make it seem like these resources are limitless. That's typically one of the selling points versus on-prem compute. They can scale responsively to your load so you're not paying for excess compute that you don't need but it's there when you want it. Of co
こんにちは！Google Cloudでオブザーバビリティを担当しているものです！Cloud Runでマルチコンテナーサポートがパブリックプレビューになりましたね！これはCloud Runでサイドカーを走らせられるということです！というわけで今日は1ユースケースとしてOpenTelemetry CollectorをCloud Runのサイドカーとして走らせてみようと思います。 TL;DR Cloud Runのマルチコンテナーサポートを使うと、アプリケーション側はOTLP送信の実装だけして、OpenTelemetry Collectorをサイドカーとして走らせて、テレメトリーをCloud Opsや外部のオブザーバビリティツールに送ることが可能になります。 構成 Kubernetesで使っているようなポッド内のサイドカーの構成をCloud Runでもできますよ、というだけなので、それをわかってる
Infracost's VS Code extension shows you cost estimates for Terraform right in your editor! Prevent costly infrastructure changes before they get into production. This helps with a few use-cases: Compare configs, instance types, regions etc: copy/paste a code block, make changes and compare them. Quick cost estimate: write a code block and get a cost estimate without having to use AWS, Azure or Goo
初めまして、GMOアドマーケティング インフラ開発部のhakumaiです。今年1月にHRTech系企業からGMOアドマーケティングに転職してきました。現職では、女子向けメディア「めるも」のインフラ業務に携わり、日々業務に励んでおります。今回は、私が転職してみて感じたインフラ技術のギャップの一部についてお話しいたします。 前職でのインフラ環境・経験について前職のHRTech企業で触っていたインフラ環境は、ほぼAWSでした。インフラの保守運用業務に加え、新規プロダクトのインフラアーキテクチャ設計構築を経験したこともあり、V... 今回は2回目の投稿になります。 前回と同様に、「AWSエンジニアから見たGCP」のような記事を書こうと思っていましたが、 最近業務で触れたPostgreSQLのメモリ周りの話があまりにも濃かったので、 今回はPostgreSQLのメモリアーキテクチャを題材にお話しいた
GMOペパボ株式会社では主にGoogle Cloud Platformのサービスを利用してデータ分析基盤を構築し運用しています。その中心となるのがデータウェアハウスのBigQueryとワークフローエンジンのCloud Composerです。また、社内向けのデータ可視化(ダッシュボード)システムではClo…
こんにちは。TIGの伊藤太斉です。 タイトル通り、GCP連載をテーマに連載を行います。 GCP連載について 今年は昨年の連載に引き続き2度目の開催です。 GCPはフューチャー社内でも利用を始めたり、検討を行っている案件も増えてきました。また世間でもパブリッククラウドの選択肢として、GCPを入れるという企業が昨年より増えているかと思います。 連載スケジュール今年も参加者が取り扱いたいテーマを取り扱っています。
G-genの杉村です。Google Cloud（旧称 GCP）の Identity and Access Management（略称 IAM）は、きちんと使いこなすことで強力なセキュリティ統制を効かせることができます。本投稿では、その内部構造まで解き明かしていきます。 IAM とは ID（アカウント） Google Cloud におけるアカウント管理 AWS の IAM ユーザーとの違い Google アカウントとグループ サービスアカウント IAM の仕組み IAM とリソースの関係 継承 許可と拒否 プリンシパルアクセス境界ポリシー IAM の内部構造（IAM ポリシー） gcloud コマンドによる IAM ポリシー操作 サービスアカウント サービスアカウントとは サービスアカウントの利用 サービスアカウントキーの注意点 サービスアカウントの権限借用 サービスエージェント PAM に
はじめに お久しぶりです。iselegantです。 今日は技術書典#16向けに執筆した「The Cloud Run」本の紹介をさせてください。 今回のテーマは「Google Cloud」です！ 特に、コンテナサービスとして代表的な「Cloud Run」のアーキテクチャ設計をテーマに執筆しました。 techbookfest.org これまで、「クラウドネイティブシリーズ」と称して3冊執筆してきましたが、その第4弾の位置付けになります。 いつもであれば、わりとゆるくかわいい感じの表紙でしたが、今回は「ちょっと本気でCloud Runに向きあって、読者のみなさまに価値を届けようか」とのコンセプトなので、本気度を表現するためにシリアスな表紙を作成いただきました。 今回の書籍のコンセプト 僕たちが今回の書籍を執筆する際、2つのコンセプトを大切にしています。 実務に通用する学びを届ける とにかく楽しく
パーソルキャリアでは、AWS、GCP、Oracleなどさまざまなクラウドを活用して、さまざまなサービスを提供しています。 「すでに“マルチクラウド”環境じゃないの？」と思われた方もいらっしゃるかと思いますが、AWSやOracleを除くサービスについてはインターネット経由での接続となっていることもあり、開発時にさまざまな課題に直面しています。 そこで今回、エンジニアがより開発しやすく・サービスの成長に合わせて最適な環境を選びやすい状態を作るべく、新たなプロジェクトが始動。Equinix社の相互接続サービスを利用し、データセンターと主要クラウド間および各クラウド間の接続を行いました。 どのようなプロセスを経て構築が進められたのか、プロジェクトをけん引したデジタルテクノロジー統括部（以下、DT部）エンジニアリンググループ柿田、泉と、インフラ基盤統括部 クラウド推進グループの宮本に話を聞きました。
July Tech Festa 2021 winter 登壇資料 #JTF2021w #GCP パブリッククラウドでのセキュリティ担保の方法として、利便性を犠牲にはせずセキュリティを担保しようというガードレールという考え方があり、GoogleCloudではガードレールを設置するために以下のよう…
G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単位での上限設定 設定手順 (コンソール) クエリ設定を開く 詳細オプションの設定 動作確認 設定手順 (bq コマンドライン) 課金が想定を超えてしまった場合の検知 はじめに BigQuery の課金体系にはオンデマンドと Editions の2つから選択できます。前者はスキャンしたデータ量に応じた従量課金です。後者は確保するコンピュートリソースの量に応じた課金で、オートスケールの幅 (上限
※この投稿は米国時間 2020 年 4 月 14 日に、Google Cloud blog に投稿されたものの抄訳です。 機械学習はかつては専門の研究者の領域で、ソリューションの構築には複雑なモデルや独自のコードが必要でした。しかし、Cloud AutoML によって機械学習はこれまでになく身近なものになりました。モデルの構築プロセスを自動化することで、ユーザーは最小限の機械学習の専門知識（しかも最小限の時間）で高性能のモデルを作成できます。 ただし、多くの AutoML チュートリアルや入門ガイドでは、適切に整理されたデータセットがすでに用意されていることを前提としています。とはいえ実際には、データを前処理して特徴量エンジニアリングを行うために必要な手順は、モデルの構築と同じくらい複雑になることもあります。この投稿では、実際の元データからトレーニングされたモデルに至るまでどのような道のり
こんにちは、ナカエです。 当ブログでも何度か紹介している Cloud Native Buildpacks はDockerfileを書くことなくコンテナイメージをビルドできる仕組みの一つです。 参考：Dockerfile不要！Cloud Native BuildpacksでLaravelアプリケーションのコンテナイメージを作成する Google Cloud Buildpacks Google Cloud Platformには Google Cloud Buildpacksとして Buildpacks への公式サポートが存在します。 参考： Google Cloud now supports buildpacks | Google Cloud Blog 以前のBuildpacksとCloud Runの組み合わせを紹介した記事では、Google Cloud BuildpacksがPHPのアプリケ
こんにちは、インフラ部の id:sue445 です。 今回はRendertronをGKEとCloud Runの両方で構築した話をしたいと思います。 tl;dr; 前置き 今までのRendertronの問題点 GKE版Rendertronについて GKEの採用理由について GKE版Rendertronの構成 全体 GKE内部 pod内部 Kubernetesの設定と解説 rendertron-deployment.yaml rendertron-hpa.yaml rendertron-ingress.yaml rendertron-service.yaml Tips nodeのストレージサイズをケチり過ぎたらpodが起動できなくなった N1マシンタイプのnodeとN2マシンタイプのnodeを比較した結果、N2マシンタイプが安くなった Cloud Run版Rendertronについて Clou
1 ヶ月ぶりに記事の場へ帰ってきました菊池です。 今回は前回の記事「データ基盤をサーバーレスで構築したので概要を紹介」で紹介したシステムで Workflows をどのように使っているのか、概要を紹介したいと思います。よろしくお願いいたします。ちなみに結構満足して使ってます。 Workflows そのものについては書いていないので、Workflows について知りたい方は以下の記事や公式ドキュメント等を参照してください。 Google Cloud のサーバーレス オーケストレーション エンジン、Workflows のご紹介 ワークフロー | Google Cloud とはいえ、自分の言葉で Workflows を簡単に紹介すると、YAML でワークフローを記述してサーバーレスで動かすサービスです。イメージ的には GitHub Actions でワークフローの YAML を書いて動かしているの
はじめに こんにちは、SRE部MLOpsチームの児玉（@dama_yu）です。この記事では、ZOZOTOWNのおすすめ順を支える検索パーソナライズ基盤について紹介します。 ZOZOTOWNのおすすめ順について ZOZOTOWNにおいて検索機能は非常に重要な機能の1つで、売上のうち多くの割合が検索経由です。ZOZOTOWNでは、検索結果の並び順として、おすすめ順、人気順、新着順など複数あり、現在おすすめ順がデフォルトになっています。 元々は人気順がデフォルトだったのですが、ユーザの嗜好に合わない商品まで検索結果に並んでしまうという課題がありました。そこで、この課題へのアプローチとしてユーザの行動履歴や属性を元にパーソナライズされた順番で検索結果を並べた、おすすめ順を新規追加することになりました。 この施策の結果、検索結果経由の商品CTRが向上しました。ユーザが求めている商品が並ぶようになった
一人でインフラ周りなど色々と見て毎日を過ごしているのですが、ある日「そういえば全然Billing情報確認してないぞ」となり確認してみるとえらいことが。 なんか一部のSKUで料金が爆上がりしてる！！！ サービス全体からするとそこまで大きなインパクトではない額だったのですが、それでも見過ごせない不穏な上がり方です。 10/1を契機に上がっていたので、GCPのお知らせを確認してみると・・・ cloud.google.com これや〜〜〜 GKEでContainer Registryを利用していたので、Podを生やす際にContainer Registryからイメージをダウンロードしてくるタイミングで新たにお金がかかるように😇 えらいこっちゃとすぐさまダウンロード時の料金がかからないArtifact Registryへの移行を準備しました。 Artifact Registryへの移行 まずはCD
Google、BigQueryをAWSやAzureなどマルチクラウド展開へ、「BigQuery Omni」発表。Google Cloud Next '20:OnAir Googleは、BigQueryをAWSやMicrosoft Azureなどへも展開する「BigQuery Omni」を、オンラインイベント「Google Cloud Next '20:OnAir」で発表しました。 We’re introducing BigQuery Omni, a multicloud analytics solution powered by Anthos. #BigQueryOmni helps you access & analyze data across @googlecloud and other third-party public clouds, all without leaving t
個人開発（趣味プロジェクト）でプロダクトを作りながら, 本職の仕事でソリューションアーキテクトっぽいことをしているマンです*1. 最近は個人開発のネタとして, プロ野球選手の成績予測プロジェクト ヘルスケア周りの自分専用プロダクト開発 この2本軸で週末エンジニアリングをしているのですが, これらの事をしているうちに, Webアプリケーション + 分析用のデータ基盤の最小セット, みたいなパターンが見えてきた クラウドにおけるサービスの選び方・スケール（=拡張）するときに気をつけるべき勘所 みたいなのがまとまってきました. せっかくなので, 言語化した上で再現性をもたせよう！という主旨でこのエントリーを書きたいと思います. なお, これだけは強く言っておきます. 参考にするのは自由です&真似ができるようなプラクティスではありますが, ベストプラクティスかどうかは（この記事を読んだ皆様の）状況
自己紹介 はじめまして！株式会社リクルートにデータスペシャリストとして新卒入社しました橋本大輝と申します。 自分は入社当初はデータサイエンティストって結局具体的には何をする仕事なんだろう、エンジニアリングにも興味あるけどどこまで手を伸ばせるのかな、という不安感を持っていたのですが、新人研修を通して社内で触れることができる技術の幅と自由度を知りその不安が大きく解消されました。 ここではそんなデータスペシャリスト入社者に向けた新人研修の概要について、個人的に面白かった/ためになったところに重点を置きながら紹介していきたいと思います。 全体の流れ スケジュール データサイエンス×ソフトウェアエンジニアリング ソフトウェアエンジニアリング データサイエンス まとめ 最後に スケジュール 技術に関する研修は全てリモートで実施され、大まかに下図のようなスケジュールで行われました。 図1: 研修のスケジ
Beatrust で SRE をやっている Yuta（中川 裕太）です．運用がラクにできように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログでは，Google App Engine (GAE) から Google Kubernetes Engine (GKE) Autopliot へ移行し半年間運用してみて感じたメリットやハマりポイントについて紹介します． モチベーション Beatrust では初期立ち上げの開発コストを下げるため，もともと GAE を用いて開発運用してきました．様々なお客様にご利用いただく中で，嬉しいことに今後 10 倍，100 倍のユーザ数成長が見込めるようになってきました．そういった状況下で以下のような GAE の課題も顕在化しており，インフラの抜本的見直しを実施する必要がありました． GAE では Auto
こんにちは。インフラエンジニアの永井(shnagai)です。 最近、家族ノートという「ママリ」内の検索データとQ&Aデータ(現在開発中)を可視化したデータ分析サービスの立ち上げに携わっています。 info-kazokunote.mamari.jp 今回は、家族ノートで使っているデータ基盤の一部であるBigQuery+StepFunctionsで作ったデータレイクの仕組みについてご紹介します。 内容は、ざっくりとこんな話を書こうと思います。 データ基盤作りに至った経緯 AWS→BigQueryにデータ移送するアーキテクチャのpros&cons StepFunctions+Embulk(Fargate)を利用したデータレイクの仕組み データ基盤作りに至った経緯 コネヒトには大きく分けると2つのデータセットがあります。 DB(Aurora)にあるアプリケーションのデータ(業務データやマスターデー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
