Часть VII

7.2 Методология тестирования POSIX (Стандарт IEEE P2003)

Основным документов, в котором описана методология тестирования POSIX, служит стандарт IEEE P2003 (ISO/IEC 13210:1999 (IEEE Std 2003-1997), Information technology&Requirements and Guidelines forTest Method Specifications and Test Method Implementations for Measuring Conformance to POSIX Standards), по существу, представляющий собой руководство по разработке спецификаций методов тестирования для стандартов и профилей прикладного пользовательского интерфейса (API). Он адресован разработчикам и пользователям спецификаций методов тестирования, а также тем, кто осуществляет реализацию этих методов. К пользователям этого стандарта, в частности, относятся:

разработчики спецификаций утверждений (assertions), определяющих в некоторой абстрактной форме требования конформности стандарта или профиля;
разработчики спецификаций тестов, конкретизирующих утверждения конформности до уровня представления, удобного для программной реализации тестовых комплектов;
поставщики комплектов тестов или систем тестирования, предназначенных для реализации процесса установления конформности стандарту или профилю.

Разрабатываемые посредством стандарта POSIX 2003 методы измерения конформности тестируемых реализаций (IUT - Implementation Under Testing) стандартам и профилям в общем случае могут включать следующие три компоненты:

программное обеспечение тестирования конформности (Conformance Test Software - CTS), включающее комплекты тестов конформности (Conformance Test Suites),
процедуры тестов конформности (Conformance Test Procedure - PCTP) - по существу набор методик, дополняющих процесс автоматического тестирования посредством исполнения тестовых комплектов;
проверку (аудит) требованиям документов конформности (Conformance Documents - CD).

Тестирование конформности реализации стандарту (стандартам) включает проверку функциональных возможностей и поведения реализации по отношению ко всем имеющим для нее смысл требованиям конформности.

Рассматриваемая методика предназначена для обеспечения уровня гарантии конформности реализации стандарту, основанному на здравом смысле с учетом практической реализуемости.

Заметим, что применение рассматриваемых методов тестирования не гарантирует абсолютную конформность реализации стандарту, так как для этого требуется осуществление так называемого исчерпывающего тестирования. Однако для нетривиальных случаев такое тестирование не осуществимо ни с технической, ни с экономической точек зрения. Поэтому в данной методологии акцент делается на критерии основательности или полноты тестирования (comprehensive), что подразумевает требование разработки содержательного теста (группы тестов) для каждого элемента функциональности тестируемой реализации. При этом тестирование комбинаций элементов API рассматриваемый подход не требует.

Ниже рассмотрим подробнее основные аспекты методологии тестирования конформности POSIX. К ним относятся:

система понятий;
модель процесса установления конформности;
синтаксис языка спецификации утверждений конформности;
коды результатов тестирования;
методика разработки утверждений конформности.