チケット #34956

リリース前のテスト手順を整備する

登録: 2015-03-06 21:35 最終更新: 2017-08-06 20:13

報告者:
担当者:
(未割り当て)
チケットの種類:
状況:
完了
コンポーネント:
(未割り当て)
マイルストーン:
(未割り当て)
優先度:
6
重要度:
6
解決法:
直さない
ファイル:
なし

詳細

Skype 交流会が定期的に行われたり、公開ベータ版が少なくない件数でダウンロードされたりしていますが、 不具合については「偶然見つかって報告があれば直せる」という状況のままです。

いくつも前のバージョンから起きていた不具合が、 日本語チームに参加していないかたから教わったり、 個人的にいただく連絡によって見つかったりしています。

私もリリース前の確認をきちんと手順化できていないことがひとつの問題だと認識しています。

特に日本語の文字入力、文字説明、点字ディスプレイへの対応などについて、 過去のバージョンでできていたことが、次にリリースするバージョンでも正しく実行できるかどうか、 主要な項目についてはテスト手順を整備して、 リリース前にちゃんと実行する必要があります。

時間や所有する機材・ソフトウェアなどの制約で、 私にはカバーしきれないテスト作業については、 担当者をきめてお任せする、といったことも選択肢と思います。

チケットの履歴 (8 件中 3 件表示)

2015-03-06 21:35 更新者: nishimoto
  • 新しいチケット "リリース前のテスト手順を整備する" が作成されました
2015-04-23 20:38 更新者: nishimoto
コメント

そろそろ本家の 2015.2 の開発が終わりに近づいているので、 本件について改めて検討させてください。

例えば以下のように分野を決めて作業手順や担当者を確認できればと思います。

  • Windows 日本語版 XP, Vista, 7, 8.1 (XP 以外は 32ビットと64ビット)での基本的な動作確認
  • 文字説明機能の動作
  • 入力メソッド 特に Microsoft IME と ATOK
  • 点字ディスプレイ

私がリリース候補版で検証をやってきたときには、すべての状況を網羅できていませんが、 XP でのテストはもはやそれほど重要ではない気もします。

入力メソッドと点字ディスプレイについては特に「NVDA日本語版の説明」に 書かれている仕様や動作が正しいかどうかが検証の主なポイントと考えています。

ここで挙げていない項目は本家がちゃんと検証しているだろうと思いますが、 提案と担当のお申し出があれば検討できると思います。

作業のスケジュールとしては、公開ベータ版の時期(つまり 2015.2jp に関しては5月中旬)でしょうか。。

2015-04-23 20:51 更新者: minanono
コメント

テスト手順は把握出来ていませんが、Windows8.1の64bitと32bit機があります。Atokは持っていないと思います。何か協力出来ればと思います。

2015-08-27 17:52 更新者: nishimoto
コメント

公開ベータ版を出してから正式版を出すまでの約1ヶ月のあいだに、 ユーザーガイドや日本語版の説明に書かれている仕様が壊れていないことをチェックする、 テスト担当者を募集するべき。

関連チケット #35441

2015-08-27 17:53 更新者: nishimoto
  • 重要度5 - 中 から 6 に更新されました
  • 優先度5 - 中 から 6 に更新されました
2015-08-30 11:48 更新者: nishimoto
コメント

募集する担当者のリスト案を考えてみました:

  • Word
  • Excel
  • Skype
  • Microsoft IME
  • ATOK
  • 点字ディスプレイ

目的と作業内容: すべての不具合を探すことが目的ではなく、 NVDA 日本語版のリリースごとに「前のリリースでできたことが新しいリリースで壊れていないこと」を、 確認していただく(リグレッションの発見)。

時期: 本家の string freeze くらいの時期にビルドされた(おそらくは公開の)日本語ベータ版。 締切は本家版がリリース候補版を出すくらい(本家の翻訳締切)の時期。 これだとスケジュールを計画しやすい。

公開ベータ版を前提にするなら、NVDA 日本語チームに限定せず users ML で公募してもよいかも知れない。

2015-11-05 13:39 更新者: nishimoto
コメント

ベータ版の自動更新を始めたので、リリース前テスト手順の整備は当面あきらめる。

2017-08-06 20:13 更新者: nishimoto
  • 解決法なし から 直さない に更新されました
  • チケット完了時刻2017-08-06 20:13 に更新されました
  • 状況オープン から 完了 に更新されました
コメント

ベータ版の自動更新が定着して不具合が発見されやすくなったこと、 ユニットテスト + AppVeyor CI の枠組みが整備されてきたこと、 人力でのテストに関して現実的に体制が組めそうにないことと、 などから判断して、いったんこのチケットはクローズとします。

添付ファイルリスト

添付ファイルはありません

編集

このチケットにコメントを追加するには、ログインが必要です » ログインする