Mod Kitty lève le voile sur la méthodologie adoptée par notre vaillante équipe d'assurance qualité pour tester le client NXT, et nous révèle ce que nous avons appris lors du dernier week-end de bêta-test.
N'oubliez pas, le prochain week-end de bêta-test fermé approche ! Il débutera le vendredi 18 mars à midi UTC !
Cette semaine, le blog de développeur vous emmène dans les coulisses de l'équipe d'assurance qualité. Vous êtes curieux de savoir comment nous évaluons la qualité d'un jeu aussi immense que RuneScape, rafraîchi grâce à un tout nouveau moteur graphique ? Lisez la suite pour le découvrir !
Des différences notables
En observant le monde de RuneScape prendre forme dans NXT, nous avons immédiatement remarqué des différences par rapport à l'ancien client. Les ombres dynamiques, le nouveau système d'éclairage, les distances d'affichage plus élevées et les autres innovations de NXT offrent une toute nouvelle expérience de jeu, mais nous devions nous assurer que les joueurs puissent immédiatement reconnaître le jeu qu'ils connaissent si bien et qui leur tient tant à cœur.
Nous avons longuement testé le client Java en parallèle du client NXT. Pour faciliter ce processus, j'ai développé un test automatisé qui se rend dans 30 endroits différents du jeu pour prendre des captures d'écran des deux clients et les comparer. Ce test très utile a mis en lumière les différences au niveau de l'environnement. Les résultats nous ont permis de recréer l'atmosphère de chaque endroit le plus fidèlement possible en termes de couleurs et d'éclairage.
 |
 |
Bugs de contenu et de moteur de jeu
Ces 15 dernières années, la conception des environnements et des modèles a été soumise aux contraintes du client Java. Ces contraintes étant levées avec le client NXT, une fois le développement lancé, nous avons remarqué que de nombreux éléments du monde détonnaient. Par exemple, de nombreux endroits semblaient plus proches que prévu. Certains lieux ou PNJ semblaient flotter dans les airs car le chargement du bâtiment dans lequel ils se trouvaient était programmé bien plus tard. Certains matériaux paraissaient plus brillants, car l'éclairage était différent.
Nous avons eu recours à des solutions de programmation pour remédier aux problèmes d'éclairage et d'environnement par défaut, mais elles ne sont pas efficaces sur tous les environnements. Nous avons donc demandé à nos artistes de les personnaliser. Nous viendrons à bout de cette tâche, mais c'est un long processus, surtout avec les mises à jour hebdomadaires à gérer en parallèle. Nous vous demandons donc d'être patients !
Bugs signalés lors du dernier week-end de bêta-test
Tout d'abord, nous tenons à vous remercier pour les très nombreux commentaires que nous avons reçus tout au long du week-end de bêta-test. Nous les avons tous lus avec grand intérêt !
Les développeurs de NXT et l'équipe d'assurance qualité ont pris le temps d'étudier l'extraordinaire quantité de données que nous avons récoltées après le week-end de bêta-test. Nous avons notamment étudié :
- 15 000 signalements de bug en jeu ;
- 50 fils de discussion sur les forums ;
- Les journaux de serveur détaillant les plantages du client ;
- De très nombreux avis sur Twitter, Reddit et YouTube.
Nous avons tout passé au peigne fin, non seulement pour repérer de nouveaux bugs, mais aussi pour dresser une carte des bugs et problèmes qui ont été signalés le plus souvent.
Voici ce que nous avons découvert :
Certains joueurs n'ont pas pu lancer le client ou ont rencontré des problèmes lors de l'installation.
Nous avons beaucoup appris de ces problèmes grâce aux joueurs qui ont posté sur le fil de signalement de bugs critiques et avons tenté de tous les résoudre. Lors du prochain week-end de bêta-test, beaucoup moins de joueurs devraient rencontrer des problèmes lors de l'installation ou du lancement de NXT - nous avons même bon espoir que personne ne se retrouve dans cette situation !
Plantages
En remaniant le moteur de jeu en C++, nos développeurs ont pu contrôler et optimiser les ressources d'un ordinateur, ce qui a permis une amélioration considérable des performances. Toutefois, la refonte d'un ensemble si complexe à partir de zéro implique forcément des plantages.
Heureusement, nous y étions préparés. Grâce à l'un de nos modules, qui signale tous les plantages, nos serveurs ont repéré la majorité des plantages du client, et la plupart des erreurs ont déjà été corrigées.
En nous appuyant sur vos retours, nous avons identifié quatre types de plantages en jeu :
- Ceux qui ont lieu lors de la transition entre l'écran d'accueil et le jeu sont principalement liés à des problèmes de compatibilité.
- Ceux qui interviennent lors du lancement de l'application sont en majorité dus à des bibliothèques manquantes, des mises à jour nécessaires du système d'exploitation ou des permissions erronées.
- Ceux qui sévissent après une heure de jeu environ ont été causés par des conditions spécifiques rencontrées par les joueurs.
- Enfin, nous avons identifié un dernier type de plantage : le client se lance à la première tentative mais plante à la deuxième en affichant le message d'erreur « Error Saving File » (Erreur lors de la sauvegarde du fichier). Il restait sans doute un processus rs2client.exe résiduel toujours actif, ce qui a empêché le nouveau processus d'avoir accès aux ressources nécessaires. Ce problème devrait maintenant être corrigé.
Problèmes de compatibilité
Le jeu se comporte différemment en fonction de la combinaison de matériel et de système d'exploitation utilisée. Nous avons toujours tenu à rendre le jeu accessible à un maximum de joueurs. Pour atteindre cet objectif, nous devons évaluer la qualité de l'expérience de jeu sur une gamme de configurations de PC aussi étendue que possible. Pour cela, nous avons procédé de la façon suivante :
- Nous avons utilisé notre laboratoire interne de test de compatibilité, actuellement composé de plus de 30 machines, ordinateurs de bureau et ordinateurs portables confondus, chacune dotée d'une combinaison différente de système d'exploitation, processeur, carte graphique, etc.
- Nous avons autorisé le personnel de Jagex à utiliser NXT à la maison, ce qui a élargi la gamme des ordinateurs sur lesquels le client a été testé.
- Nous avons aussi fait appel à des entreprises tierces pour réaliser des tests de compatibilité.
Vérifier que notre client fonctionne correctement sur des douzaines de PC peut être très long et répétitif, mais nous avons conçu une infrastructure de test automatisée à l'aide de Python pour nous rendre la tâche plus facile. Alliée à un système de signalement pratique, elle nous permet de configurer et de lancer des tests aussi souvent que nécessaire sur plusieurs machines en même temps, et de surveiller de près la performance du client NXT pour chaque version.
Cela n'a rien de nouveau : cela fait des années que nous utilisons des tests automatisés sur le client Java. Il s'agissait donc simplement d'effectuer ces tests à plus grande échelle, et d'augmenter le nombre de machines effectuant les tests.
Le week-end de bêta-test a mis en lumière des problèmes de compatibilité que les tests de notre personnel et de l'entreprise externe n'avaient pas détectés. Après avoir étudié ces problèmes, nous avons identifié certains facteurs communs. Voici nos conseils pour bénéficier de la meilleure expérience possible avec NXT :
- Ne lancez pas RuneScape en tant qu'administrateur : cela peut priver certains fichiers essentiels de privilèges de lecture ou d'écriture.
- Mettez à jour votre système d'exploitation : assurez-vous que votre système d'exploitation soit aussi à jour que possible pour faciliter l'exécution du client et améliorer la sécurité et la stabilité de votre ordinateur.
- Mettez à jour les pilotes de votre carte graphique : avec des pilotes plus anciens, certaines cartes intégrées Intel ou cartes graphiques Radeon moins récentes peuvent afficher des bugs graphiques, comme des trames intermédiaires blanches ou de longs polygones brillants. Leur mise à jour assure de meilleures performances.
Nous avons remarqué quelques problèmes avec certaines versions moins récentes d'OSX. Nous réaliserons donc des tests plus approfondis et minutieux sur ces versions du système d'exploitation.
Problèmes de performance
Notre but, c'est que RuneScape offre une expérience de jeu moderne. N'importe quel jeu en 3D sorti ces dernières années fera travailler votre carte graphique. C'est la raison d'être des applications en 3D et des cartes graphiques.
J'ai lu sur les forums que certains joueurs s'inquiétaient de la surchauffe de leur ordinateur. Tant que vous êtes prudent si vous pratiquez le sur-cadencement, cela ne devrait pas être un problème. NXT ne mettra pas plus votre PC à l'épreuve que n'importe quel autre jeu moderne en 3D (d'ailleurs, dans la plupart des cas, il sera même beaucoup moins exigeant).
Un autre débat courant sur les forums était : « J'utilise le client Java avec des paramètres très détaillés. Pourquoi devrais-je utiliser NXT avec des paramètres peu détaillés ? » Si vous avez lu nos précédents blogs de développeur, vous devez savoir que les paramètres très détaillés de NXT ne correspondent pas exactement aux paramètres très détaillés dans le client Java. En réalité, la différence est flagrante :
 |
 |
Euh... Où est passée ma tour ?
Il faut savoir que même si vous utilisez le client NXT avec des paramètres peu élevés, vous bénéficierez de plus de fonctionnalités qu'en utilisant l'ancien client avec des paramètres très détaillés. Mieux encore, vous obtiendrez une meilleure fréquence d'images avec une utilisation moindre du processeur !
 |
 |
Observez les ombres dynamiques sous toutes les entités animées.
Voici un graphique des performances d'un ordinateur portable doté d'une carte graphique Intel(R) HD Graphics 4000, d'un processeur Intel(R) Core(TM) i5-3210M de 2,50 GHz avec des paramètres graphiques peu détaillés (lorsque le personnage se repose près du château de Lumbridge) :
 |
|
| Image/sec. - NXT | Image/sec. - Java |
 |
|
| % d'utilisation du CPU - NXT | % d'utilisation du CPU - Java |
Le lag
Beaucoup de joueurs ont signalé que le client était lent, peu réactif et que les temps de chargement étaient longs. Nous avons identifié certains cas où nous devons optimiser le chargement des ressources, surtout pour les processeurs dotés de 4 cœurs ou moins. Nous tentons actuellement de trouver une solution à ce problème.
Ces problèmes de chargement ont principalement affecté l'apparence des animations et des combats. Nous avons reçu de nombreux signalements de bugs à ce sujet : le client se figeait après une animation (comme Élan, par exemple), ou l'animation ne se jouait pas du tout.
Sprites corrompus et icônes à l'apparence étrange
Après avoir joué à NXT pendant un certain temps, de nombreux joueurs ont signalé l'apparition d'objets en double dans leur inventaire, d'ombres entourant certains objets et d'autres erreurs graphiques de ce genre. C'était un problème particulièrement difficile à régler, étant donné qu'il ne se produisait qu'après plusieurs heures de jeu en continu. Pour y remédier, nous avons implémenté des corrections dans le code du client, mais des tests plus approfondis sont nécessaires pour en vérifier l'efficacité.
Problèmes de combat
Les utilisateurs qui ont testé NXT lors du week-end de bêta-test nous ont fait remarquer que les combats souffraient d'un certain manque de fiabilité. Cela se ressentait surtout lors des combats contre les boss : les joueurs ont signalé que les dégâts n'étaient pas toujours indiqués, que les boss se trouvaient parfois au mauvais endroit et que certaines capacités n'avaient pas l'apparence attendue ni les effets habituels.
Dans les semaines qui ont suivi le week-end de bêta-test, nous avons corrigé ces problèmes en priorité pour vous éviter de vous inquiéter des conséquences du test de NXT sur votre coffre bancaire et vos objets.
Autres problèmes
Nous nous sommes concentrés sur les problèmes de la mini-carte. Elle peinait à se mettre à jour dans les zones qui devaient apparaître en fondu lors des téléportations, et, lors des transitions, elle ne se mettait parfois pas à jour si le client mettait un peu trop longtemps à charger la nouvelle zone.
Notre désir d'optimiser le fonctionnement de l'ancien système a fait surgir d'autres problèmes. Nous travaillons toujours sur les interactions, par exemple. Grâce à nos distances d'affichage plus élevées, un joueur peut cliquer sur un PNJ situé dans une ville voisine s'il est visible à l'écran.
Cela requiert des calculs à l'échelle du pixel sur plusieurs niveaux de profondeur d'écran, ce qui implique de très nombreuses recherches. Nous avons fait tout notre possible pour trouver des solutions variées, mais il nous faut encore travailler sur certains problèmes, comme celui des PNJ qui changent de forme lorsqu'ils apparaissent.
Héritage
J'espère que ce blog vous a donné une idée plus précise de nos activités d'assurance qualité et de ce que vous réserve le nouveau client.
Dans notre équipe, nous parlons souvent d'héritage. La plupart du temps, cela désigne la façon dont l'ancien contenu fonctionne et comment nous devrions l'améliorer, mais cela désigne également ce que les joueurs qui nous sont fidèles depuis des années nous ont apporté, ainsi que notre engagement à continuer à leur fournir un contenu toujours aussi exceptionnel. Nous sommes bien conscients que nos joueurs sont habitués à une expérience utilisateur de qualité, et nous œuvrons pour répondre à leurs exigences.
Mod Kitty
Membre de l'équipe d'assurance qualité de RuneScape