AsianPLoP でお世話になった Joe Yoder さんと、Agile2009 でお世話になった Rebecca Wirfs-Brock さんのセッション。すでにスライドが公開されている。
Testing System Qualities: Rebecca Wirfs-Brock, Joseph Yoder
アジャイルにかんしてあった神話
システム品質として考えるべき点はこんなかんじ
機能テストと、システム品質テスト (System Quality Test)は別のもの。後者は特に負荷テストやユーザビリティテストなどをカバーする。
まず、計測できる結果は何か、を検討する。
- Meter: 妥当な計測方法
- Scale: 期待される数値
- 自然の単位 ミリ秒とか
- 人工の単位 1-10までのランキング
- 代用: サンプルデータを使ってスループットを再現、計測する
一口にユーザビリティといってもいろいろな要因があるのでもうちょっと細かく分割した方がよくて、レスポンス問題ならパフォーマンスになるし、という話が印象に残った。
たとえば、パフォーマンシナリオであれば、以下のような構成要素が考えられる。
- 発生源 Stimula: ユーザ
- 刺激 Stimulas: 発注を行う
- モノ Artifact: システム
- 反応 Response: トランザクションが行われる
- 反応の基準 Response Measure: 平均所要時間が2秒以下であること
- 環境 Environment: 平常時
- シナリオ: 「ユーザ全体として、平常時は秒間1000個の発注トランザクションを行う。トランザクションは平均２秒以内に完了する。」
（シナリオを考えるときに、パフォーマンスであれ、セキュリティであれ、明確なアクターを考えることが、ROIの高い対策を取る際に必要なことだと思うので、キャンバスに描くという方法は共通理解を作るうえで有益だと感じた。図自体はいわゆるシステムへの入力と出力の図なので、まあ誰にでも分かりやすいと思われる。）
このあと、実際に仮想のシステムについてシナリオを上記のキャンバスに落としてみる演習があった。
