2021年もあと3ヶ月。会社の期としては2Qが終わり、2021/1入社なので入社後としては9ヶ月が経ちます。入社後半年あたりに、入社エントリを書こうとしていましたがスキルを羅列していたらまとまらず、ずるずる来てしまったため、とりあえずスキルの棚卸し的なことを書いていけたらと思います。
転職活動のふりかえりはこちら↓
概要
インフラチームとして従事しています。自分が入社時にアプリケーションチームから独立しチーム化。2名体制。
インフラを中心としたSRE+データエンジニアないしデータアナリスト的なことも一部やっています。
- AWS,Kubernetes,Terraformなどを利用したサービス基盤の提供
- Athena,Embulk,Redashなどを利用したデータ分析基盤の構築・運用、活用推進
Kubernetes周り
- AWS EKSの運用ができる
- クラスタのアップデート対応 1.15>1.19
- 細かいツールたち
- kustomize
- helm
- prometheus
- cluster autoscaler
- algo-rollouts
- sql-exporter
- fluentd(fluentbitに置き換えたい)
- (terraform)
余談。弊社はのインフラの歴史はDocker運用→自前kubernetes→EKSという歴史だったらしい。EKSまじで楽だなと感じる。
インフラエンジニア/SREが使うAWS周り
AWS SAAは持っていたものの、実務経験はEC2とS3とRDS+Cloudformationが中心でモダンな構成には慣れていなかった
- EKS/ECS/ECR/(Docker)
- codebuild
- (terraform)
- git/github
- なんだかんだで実務は初…何ならプライベートでもそこまで使えてなかった
まだ弱い
- Lambda
- CI(github actionsやcircleci)
もう少しある気がするんだけど、ざっくり上げるとこんな感じ。あとはE2Eテストとか既存で用意されているツールを使う部分かも。
SREの知識も深まりつつ、既存の運用がSRE的なプラクティスが含まれているので、運用作業はほとんど無く(!)、より良くしていく感じ。
データエンジニア系
- Athena
- MySQL or DynamoDB to S3とかの取り込み部分はまだ掴みきれてない。
- Redash
- embulkによるETL処理
- 主にAthena to AuroraMySQL
- Step Functions(定期実行)
- 高度なSQL window関数とか
- Athenaでは使えるけどAurora MySQLだと5.7系で使えないのが悩みどころ
- データマートのDB設計
- (加工データをメインシステムに読み込ませる)
- 社内推進の諸々
データエンジニア業務は片手間(インフラ:データエンジニアが半々くらいにはなってきているが)でやってるので、まだまだ課題は多いし、スキル的にもまだまだ感がある。(データ基盤作ったのが去年というのもあり成熟しきってないのもある)
今後はSQLだけでは分析しきれない、時系列データやGPSデータをうまく分析できるようにPython周りのスキルがほしい気がしている。最近は社内で、課題持ち寄り方式のPythonもくもく勉強会が開催されていて良い(一応主催だけど簡単なファシリテーションしかしていない。ロードマップ的なのは調査中)
今後データエンジニアからデータアナリストくらいまではカバーしようとしている気がする。
2022年追記。Pythonはpandasや多少の可視化周りは調べながら使えるようになった。
その他
AWS Well-Architected Toolの取り組み
なんだかんだでリーダーがほとんど実装したので、細かい実装が身についたかと言うと怪しいけど、独りよがりのAWS環境から推奨状態がわかりつつ近づけているのは大きい。
並列でSysOps Administrator – Associateの学習もしていた(まだ取得できていない)のでセキュリティ周りのベストプラクティスを中心に身についた気がする。
まだまだ残課題はあるので後期なり来季なりで拾っていったりする。特にログ統合基盤とか
Datadog導入
- 2021 2Qで検証〜導入を主担当で行った。
- AWSの一部アラートとPrometheusのコンテナアラートを移行した。
- アプリケーションのメンバーと協力しAPMも導入した。
- ログは費用が高く見送りのため、前述の通り別途ログ統合基盤は考えたい。
- 応用的な使い方はこれからというところだけど、SRE的な指標(SLAとか)を作るところ含め伸びしろがある領域。
ISUCON
同僚と出場した ISUCON11予選に参加しました ←に書いてあるので詳細は割愛。
MENTA
MENTAをやってみました で軽く書きました。その後Railsのデプロイサポートすることで、そこらへんも少し分かるようになった気がする。復習やちょっとした学習ができて良い感じ。
終わりに
オンプレWindows社内SEからAWSでモダンなSREまで駆け上がってきました。いい感じに成長を感じ満足度高いです。スペシャリストよりジェネラリスト(+マネジメントも興味あり)の自覚があるので肌にあっている感じがします。
後期や来年に伸ばしていきたいスキル的/やりたいこと
- インフラエンジニア/SRE
- ベストプラクティスの実装
- 実務で使っているが身につききれてない部分のキャッチアップ
- (アプリケーション寄りな部分も少しずつできるようになりたい)
- データアナリスト
- Pythonデータ分析周り 社内データ,社外のオープンデータとか
- ビジネスサイドと協力しビジネスをワークさせたい(願望)
- マネジメント系 来年あたり
- 1年間のうちチームがやるべきこととかを描けるレベルになりたい
- 組織的に良くしていく働きかけ。今期はスキル面に注力している部分が大きい
会社の期は3月決算で個人の期は12月締めにしているので、ズレがあるんですが(そのほうが目標設定が集中しなくて良い部分もある)、またどこかの区切りで棚卸しなりふりかえりをできればと思います。