- 自己紹介
- はじめに
- どういったシステムか
- 課題: CI が遅く、待ち時間が多く発生していた
- 遅い原因を特定する
- 原因1: 外部通信がスタブ化されておらず、タイムアウトで待たされていた
- 原因2: 大半のパターンが不必要な組み合わせテストだった
- まとめ
自己紹介
こんにちは、Akerun IoTプラットフォームチームでWebエンジニアをしている伊東です。 普段は主にWeb APIの開発・運用・保守を担当しています。
はじめに
RSpecで書かれたテストをCircleCIで回しているのですが、特定の1ファイル(さらにその中の1ブロック)の実行に約360秒かかっており、並列CI全体のボトルネックになっていました。今回はそれを30秒以内まで高速化して、再認識した事柄について紹介をしていきます。
どういったシステムか
本記事で扱うシステムは、スマートロック「Akerun」(IoTプロダクト)のバックエンドAPIです。

- 製品・サービスの概要:オフィスや施設の入退室を管理するスマートロックおよびクラウド管理システム
- システムの役割:スマートロック本体や各種デバイス(通信仲介機等)からのリクエストを受け付け、状態判定や認証、解錠指示を行うWeb API
- システム構成の特徴:
- 複数デバイスの連携:メイン端末、サブ端末、通信仲介機など、複数のハードウェアが相互に連携して動作する仕組みになっています。
- 多様なバージョン・状態:各デバイスのファームウェアバージョンの組み合わせによって、様々な分岐があります。
課題: CI が遅く、待ち時間が多く発生していた
CircleCIを32並列で実行していましたが、特定のコンテナで待ち時間が長く発生していました。
- デプロイのたびに全体で約10分の待ち時間が発生していた
- 開発中のCI待ちも長く、開発者体験として改善の余地が大きかった
遅い原因を特定する
CircleCIの実行ログを確認したところ、ある1つのテストファイル(spec)が約360秒かかっており、並列実行全体のボトルネックになっていました。
ローカルでプロファイルを計測したところ、特定の1つの describe ブロックに実行時間が集中していることが判明しました。
その describe では、各デバイスのファームウェアバージョンの組み合わせテストが以下のように網羅的なマトリクスで実装されていました。
shared_examples '複数デバイス連携時の状態判定テスト' do matrix = [ # main_board: メイン基盤, sub_board: サブ基盤, lock: 錠本体 { main_board: 'main_board: 最新', sub_board: 'sub_board: 最新', lock: 'lock: 配布済み・未適用', expected: false, lock_exp: true }, { main_board: 'main_board: 最新', sub_board: 'sub_board: 最新', lock: 'lock: 配布済み・適用済み', expected: false }, { main_board: 'main_board: 配布済み・適用済み', sub_board: 'sub_board: 新Verあり・未配布', lock: 'lock: 最新', expected: false }, # ... 他の組み合わせパターン ] matrix.each do |case_data| context "#{case_data[:main]}, #{case_data[:sub]}, #{case_data[:gateway]} のとき" do include_context case_data[:main] include_context case_data[:sub] include_context case_data[:gateway] it '期待通りの状態判定結果を返すこと' do expected_result = if case_data.key?(:gateway_exp) && current_device.gateway_connected? case_data[:gateway_exp] else case_data[:expected] end is_expected.to eql expected_result end end end end
原因1: 外部通信がスタブ化されておらず、タイムアウトで待たされていた
Beforeでは送信処理(publish)のみスタブしていたが、その前段の接続処理(connect)で実通信が発生してタイムアウトしていたため、テスト実行時に毎回タイムアウトを待っていました。
調べているうちに、役割が似た別モデルのspecには時間がかかっていないことに気づきそこと比較することで、その原因に気づけました。
# Before allow_any_instance_of(ExternalClient).to receive(:publish) # After external_client = instance_double(ExternalClient) allow(ExternalClient).to receive(:connect).and_return(external_client)
スタブをdescribe内ではなくファイル全体のbeforeに置いたのは、以下の2点を確認したためです。
- このスペック群は通信処理そのものを検証していない(
expect(...).to receive(:publish)のような検証がない) - 同じ通信処理を経由する他のテストも存在しており、範囲を広げることでファイル全体の高速化にもつながる
結果、対象のdescribeは約360秒→約13秒に短縮されました。
また、ファイル全体の実行時間は約390秒→29秒に短縮されました。
原因2: 大半のパターンが不必要な組み合わせテストだった
def update_required? # Gatewayモデルの特定コンポーネントのみアップデート対象とする # - プロ向けモデル: 専用保守フローにて別途管理 # - 旧世代モデル: レガシー対応フローにて別途管理 return false unless primary_controller? # ... 略 end
実装を確認したところ、update_required? のガード節により特定デバイス以外は一律で falseを返す仕様となっており、80通りの全組み合わせテストが形骸化していました。
対策 としてペアワイズ法のようなアプローチを取り入れ、真に組み合わせ検証が必要な条件のみに絞り込みました。早期リターンされるケースは代表1パターンに集約することで、テストの妥当性を保ちつつ無駄なテストケースを大幅に削減しました。
ただし、ここで全部消したわけではありません。
primary_controller?がtrueになるデバイス → 組み合わせを検証する意味があるのでそのまま維持primary_controller?がfalseになるデバイス → 「早期リターンでfalseになる」ことを確認する1ケースに集約
この結果、1ファイル全体のテスト件数は496件→259件に、実行時間は29秒→17秒に短縮できました。
まとめ
今回の改善により、ボトルネックとなっていたテストを大幅に高速化し、CIの待ち時間を劇的に削減できました。
- スタブ漏れの解消: 原因1では1ファイルの実行時間が約390秒 → 約29秒
- 無駄なパターンの集約: 原因2では1ファイルのテスト件数 496件 → 259件(約47%削減)、実行時間が 29秒 → 17秒
今回の学び
- テストの目的に応じた適切なスタブ設計
- 通信そのものを検証しないテスト群であれば、スコープの広い共通設定(ファイル全体の
beforeなど)でモック化することを念頭に置く大切さを実感しました。
- 通信そのものを検証しないテスト群であれば、スコープの広い共通設定(ファイル全体の
- 実装の変更に合わせたテストの見直し
- 組み合わせテストが存在する箇所でガード節による早期リターンが追加された場合、網羅性を定期的に見直す必要性を痛感しました。
- 網羅性を追及するあまり、テスト全体の実行速度を削いでいないか常に意識する視点が得られました。
株式会社フォトシンスでは、一緒にプロダクトを成長させる様々なレイヤのエンジニアを募集しています。
Akerunにご興味のある方はこちらから