Часть XV

15.1. Нормативно-методическая база OSI-конформности

Ранее было показано, что концепция тестирования конформности систем ИТ базовым стандартам и профилям составляет методологическую основу современной системы международных стандартов и что почти четвертая часть стандартов, разработанных организацией ISO, посвящена описанию методов и средств тестирования конформности. К сожалению, пока не разработана единая методология конформности для всех типов системных интерфейсов. Наиболее проработанным и полным в методологическом плане подходом к решению проблемы конформности является методология тестирования реализаций сетевых протоколов и сервисов, т.е. реализаций CSI-интерфейсов, разработанных в соответствии с моделью OSI (OSI Conformance Testing).

Данный подход стандартизован и представлен в виде международных стандартов ISO/IEC 9646(X.290) [1-6], в которых определены все основные аспекты методологии тестирования конформности реализаций сетевых протоколов и сервисов стандартам модели OSI. В частности, в этих стандартах нашли свое отражение: основные понятия конформности, типовая структура процесса установления конформности, принципы построения абстрактных методов тестирования, архитектурные аспекты тестирования, формальные средства спецификации тестовых ситуаций, структура комплектов тестов и требования к их разработки и реализации, назначение и функции лабораторий тестирования и пр.

Основное назначение стандартов ISO/IEC 9646 состоит в том, чтобы на основе стандартизации методических и организационных аспектов процесса тестирования обеспечить возможность сравнения (идеально, воспроизведения) результатов аналогичных испытаний, выполненных различными лабораториями тестирования.

Стандарты ISO/IEC 9646 включают следующие документы:

Часть 1: Общие понятия (ISO/IEC 9646-1: 1994/ITU-T X.290: 1994, Information Technology - Open Systems Interconnection - Conformance Testing Methodology and Framework - Part 1: General Concepts). В данной части вводятся базовые понятия, связанные с тестированием конформности, определяется назначение и роль тестирования конформности, дается общее описание процесса тестирования конформности, а также описание абстрактных методов тестирования, принципов построения комплектов тестов, назначения лабораторий тестирования и пр.

Часть 2: Спецификации абстрактных комплектов тестов (ISO/IEC 9646-2: 1994/ITU-T X.291: 1994, Information Technology - Open Systems Interconnection - Conformance Testing Methodology and Framework - Part 2: Abstract Test Suite Specification). Данная часть ориентирована на разработчиков спецификаций комплектов тестов. В ней детально описаны различные методы тестирования, определены требования к процессу создания комплектов тестов. По существу данный документ является руководством по разработке комплектов тестов.

Часть 3: Таблично-древовидная нотации (TTCN) (ISO/IEC 9646-3: 1992/ITU-T X.292: 1993, Information Technology - Open Systems Interconnection - Conformance Testing Methodology and Framework - Part 3: Tree and Tabular Combined Notation). В этой части определяется язык спецификаций тестов, рекомендуемый для разработки стандартизованных тестовых комплектов протокольных реализаций всех уровней модели OSI, за исключением физического. Такой язык позволяет описывать абстрактные комплекты тестов достаточно детально для однозначного определения результатов выполнения тестовых шагов и, в то же время, абстрагируясь от особенностей языка реализации и системы тестирования. Описание имеет как форму, ориентированную на человека (TTCN.GR), так и форму, анализируемую машиной (TTCN.MP).

Часть 4: Реализация тестов (ISO/IEC 9646-4: 1994/ITU-T X.293: 1994, Information Technology - Open Systems Interconnection - Conformance Testing Methodology and Framework - Part 4: Test Realization). Данная часть ориентирована на разработчиков комплектов тестов. Она может служить руководством по созданию средств тестирования, охватывающих систему тестирования, исполняемый комплект тестов, средства селекции и параметризации тестов, а также средства реализации контроля и наблюдения над тестируемой реализацией. Также рассмотрены аспекты, связанные с формированием и ведением протокола конформности (conformance log) для представления в нем всех событий, происходящих во время тестирования.

Часть 5: Требования к лабораториям тестирования и их клиентам для выполнения процесса установления конформности (ISO/IEC 9646-5: 1994/ITU-T X.294: 1994, Information Technology - Open Systems Interconnection - Conformance Testing Methodology and Framework - Part 5: Requirements on Test Laboratories and Clients for the Conformance Assessment Process). Этот документ по существу является руководством (как для лаборатории тестирования, так и для ее клиентов) по организации и проведению процесса установления конформности в целом. В состав этой части включена форма для составления отчета по тестированию.

Часть 6: Методология тестирования профилей протоколов (ISO/IEC 9646-6: 1994/ITU-T X.295: 1994, Information Technology - Open Systems Interconnection - Conformance Testing Methodology and Framework - Part 6: Protocol Profile Testing Methodology). Данная часть является эквивалентом Части 2, но применительно к профилям протоколов, а не к базовым стандартам. Она выполняет роль руководства по процессу спецификации тестов профилей, а также руководства по средствам тестирования конформности реализаций профилям протоколов.

Часть 7: Свидетельство конформности реализации (ISO/IEC 9646-7: 1994/ITU-T X.296: 1995, Information Technology - Open Systems Interconnection - Conformance Testing Methodology and Framework - Part 7: Implementation Conformance Statements). В данном документе определены требования к составлению свидетельства конформности реализации или ICS (Implementation Conformance Statements) одной OSI-спецификации или большему числу OSI-спецификаций, в частности, в ICS определяется какие из опций стандарта должны тестироваться для данной реализации.

Описанная в стандартах ISO/IEC 9646/ITU-T X.290 методология продолжает развиваться. В частности, для расширения границ применения частей 1, 2, 4 и 5 были разработаны изменении стандартов, более адекватно поддерживающие методику тестирования реализаций профилям протоколов (Protocol Profile Testing Methodology), а также методику тестирования для многочастевых профилей. Продолжается развитие и языка TTCN как языка спецификации параллельных процессов (Concurrent TTCN and Activation of Defaults, Encoding testing; Formalisation of test suite operations).

Таким образом, рассмотренные выше документы, объединенные в международные стандарты ISO/IEC 9646/ITU-T X.290, охватывают полный спектр методических аспектов, необходимых для решения задачи тестирования конформности OSI-реализаций.

Основные понятия и принципы методологии тестирования конформности ISO/IEC 9646/ITU-T X.290 характеризуются фундаментальностью и достаточной общностью, что часто позволяет применять их к областям ИТ, выходящим за границы модели OSI. В частности, они применимы для тестирования конформности продуктов OSE-профилям и стандартам ODP.

Следует заметить, что подход OSI к тестированию конформности сложнее, чем рассмотренный нами подход POSIX. В частности, концептуальный базис OSI-конформности содержит несколько сот понятий. Поэтому детальное рассмотрение этой методологии в рамках одной главы не представляется возможным. Для иллюстрации основных идей OSI-подхода применим метод ситуационного моделирования. А именно, представим себе, что перед нами ставится задача создания лаборатории тестирования, деятельность которой должна быть регламентирована рассмотренными выше международными стандартами, так как конечной целью является ее аккредитация полномочными органами международной системы стандартизации. При этом мы будем использовать основные понятия методологии конформности, обсуждавшиеся нами в главе 3. К ним относятся следующие понятия: процесс установления конформности (Conformance Assessment Process), тестируемая система или IUT (Implementation Under Testing), система тестирования (Testing system), заявка о конформности реализации или ICS (Implementation Conformance Statement), дополнительная информация о реализации для ее тестирования или IXIT (Implementation eXtra Information for Testing), абстрактные методы тестирования (Abstract test methods), комплекты тестов (Test suites), проформа заявки о конформности реализации (Implementation Conformance Statement (ICS) Proforma). При необходимости мы будем расширять понятийную базу конформности новыми понятиями.