Q1 — 単一選択新しいデータ処理方式を検討しており、候補Aと候補Bについて特定の集計処理性能を比較したい。アプリケーション全体はまだ完成していないが、本番で利用するデータ特性と処理内容は把握できている。最も適切な進め方はどれですか。
A. アプリケーション全体が完成するまで性能測定を行わず、製品仕様の最大値だけで候補を選ぶ
B. 一般公開されている別ワークロードの性能順位をそのまま利用し、自分の処理内容では測定しない
C. 本番で利用する処理特性を反映し、必要に応じて事前ウォームアップした環境で同じベンチマークを複数回実行して候補を比較する
D. 本番利用者へ候補Aと候補Bを順番に公開し、利用者の体感だけを性能メトリクスとして扱う
答えと解説
答え:C
特定コンポーネントや技術候補は、ワークロード全体の完成前でもベンチマークで比較できます。キャッシュや初期化状態の影響がある場合は事前にウォームアップし、同じ条件で複数回測定してばらつきを確認します。
Q2 — 単一選択データベース技術の変更についてコンポーネント単体のベンチマークでは改善を確認できた。次に、API、アプリケーション、キャッシュ、データベースを含む完成したアーキテクチャが、実際のピーク負荷でも性能目標を満たせるか確認したい。最も適切な方法はどれですか。
A. データベース単体のベンチマーク結果だけを最終結果とし、ワークロード全体は測定しない
B. 本番に近い環境で代表的な利用パターンを再現する負荷テストを行い、事前定義したKPIと比較する
C. CPU使用率だけを通常時に1回確認し、ピーク時のレイテンシーやエラー率は測定しない
D. 新しい技術の公開仕様上の最大スループットがピーク値より高ければ、追加検証を行わず採用する
答えと解説
答え:B
コンポーネント単体の性能と、ワークロード全体が本番相当負荷で示す性能は別です。最終的な性能検証では、代表的な利用パターンを使った負荷テストでKPIを確認します。
Q3 — 複数選択:3つ選択性能改善案の変更前と変更後を比較し、その変更による効果を判断したい。比較可能な結果を得るために適切な対応を3つ選択してください。
A. 変更前と変更後で、可能な限り同じ負荷パターンとデータ条件を使用する
B. 変更後だけ負荷を半分にして、レイテンシーが改善したか比較する
C. 変更前がp95レイテンシーなら、変更後も同じp95レイテンシーを測定する
D. 変更後は平均レイテンシーだけを使用し、変更前のp95と直接比較する
E. 改善対象のメトリクスに加えて、エラー率など悪化してはいけない指標も記録する
F. 複数の設定を同時に変更し、どの変更が結果へ影響したか記録しない
答えと解説
答え:A / C / E
変更による効果を判断するには、比較条件と測定方法を揃える必要があります。また、狙ったメトリクスだけでなく回帰を検出できる指標も記録します。
Q4 — 単一選択APIの性能改善案を負荷テストした。要件はp95レイテンシー300 ms以下、エラー率1.0%以下。変更前はp95レイテンシー430 ms、エラー率0.2%。変更後はp95レイテンシー270 ms、エラー率3.2%だった。性能面から最も適切な判断はどれですか。
A. p95レイテンシーが160 ms改善したため、他のメトリクスに関係なく推薦する
B. 変更後のp95が300 ms以下なので、エラー率は比較対象から除外する
C. 変更前より少なくとも1つの値が改善しているため、検証は完了したと判断する
D. レイテンシーは目標を満たしたがエラー率に回帰がありKPIを満たさないため、この状態では推薦しない
答えと解説
答え:D
変更によって主要な性能値が改善しても、別の必須指標が悪化して要件を外れていれば検証成功とはいえません。回帰を解消するか別の改善案を評価します。
Q5 — 複数選択:3つ選択ピーク時の性能を確認するため、ワークロード全体の負荷テストを設計している。有効な検証にするため適切な対応を3つ選択してください。
A. 本番とは大きく異なる最小構成だけでテストし、その結果を本番性能として確定する
B. 通常利用やピーク時のリクエスト構成を可能な範囲で再現する
C. 想定する最大負荷に到達した時点で必ず終了し、それを超えた負荷では挙動を確認しない
D. 想定ピークを超える領域も確認し、どこから性能が劣化するかを把握する
E. 本番の機密データを加工せず、そのまま性能テスト環境へ複製する
F. 必要に応じて合成データまたは機密情報を除去したデータを使用する
答えと解説
答え:B / D / F
負荷テストでは代表的な利用方法を再現するとともに、想定ピークを超えた領域まで確認するとスケーリング限界や性能劣化点を把握できます。テストデータには、必要に応じて合成データや機密情報を除去したデータを使用します。
Q6 — 単一選択ある性能改善案を1回だけテストしたところ、レイテンシーは改善していた。しかし、変更前とは負荷条件が異なり、KPIに含まれるエラー率を測定しておらず、回帰確認も実施していない。最も適切な判断はどれですか。
A. レイテンシーが一度改善したため、その結果だけで改善案を推薦する
B. 検証条件が不十分なので改善案を直ちに恒久的に却下し、追加テストは行わない
C. 現時点では推薦または却下を確定せず、比較条件や不足メトリクスを揃えて追加検証する
D. 検証不足を補うため、公開されている一般的な製品性能値を今回の測定結果として扱う
答えと解説
答え:C
テスト証拠が不足している場合は、一度の良い結果だけで推薦せず、同時に即却下もしません。意思決定に必要な比較条件、KPI、回帰確認を補って検証します。