Окончание. Начало в #6 за 2000 г.

В. Шахнов, А. Власов, А. Кузнецов

Нейрокомпьютеры- архитектура и реализация. Часть 2. Элементная база нейровычислителей

Нейрочипы: анализ и сравнительные характеристики

Основной элементной базой перспективных нейровычислителей являются нейрочипы. Их производство ведётся во многих странах мира, причём большинство из них на сегодня ориентированы на закрытое использование (то есть создавались для конкретных специализированных управляющих систем). Основные характеристики коммерчески доступных нейрочипов приведены в табл. 1 [1-4].

Прежде чем перейти к рассмотрению наиболее интересных нейрочипов, остановимся на их классификации.

По способу представления информации нейрочипы можно разделить на цифровые, аналоговые и гибридные.

По типу реализации нейроалгоритмов: нейрочипы с полностью аппаратной реализацией и с программно-аппаратной (когда нейроалгоритмы хранятся в ПЗУ).

По характеру реализации нелинейных преобразований: на нейрочипы с жёсткой структурой нейронов (аппаратно реализованные) и нейрочипы с настраиваемой структурой нейронов (перепрограммируемые).

По возможностям построения нейросетей: нейрочипы с жёсткой и переменной нейросетевой структурой.

Обобщённая классификация нейрочипов приведена на рис. 1.

Рис. 1. Обобщённая классификация нейрочипов

В отдельные классы следует выделить так называемые систолитические и нейросигнальные процессоры.

Систолические процессоры (процессорные матрицы) - это чипы, как правило, близкие к обычным RISC-процессорам и объединяющие в своём составе некоторое число процессорных элементов. Вся же остальная логика, как правило, должна быть реализована на базе периферийных схем.

У нейросигнальных процессоров ядро представляет собой типовой сигнальный процессор, а реализованная на кристале дополнительная логика обеспечивает выполнение нейросетевых операций (например, дополнительный векторный процессор и т.п.).

Разработка нейрочипов ведётся во многих странах мира. На сегодня [2] выделяют две базовые линии развития вычислительных систем с массовым параллелизмом (ВСМП): ВСМП с модифицированными последовательными алгоритмами, характерными для однопроцессорных фоннеймановских алгоритмов и ВСМП на основе принципиально новых сверхпараллельных нейросетевых алгоритмов решения различных задач (на базе нейроматематики).

Расшифровка базовых показателей производительности: CUPS, CPS, CPSPW, CPPS и MMAC - приведена в предыдущей чаcти обзора.

Таблица 1. Характеристики нейрочипов

* ) - максимальное число синапсов определяет размер внутрикристальной памяти весов.

** ) - максимальное число слоёв определяется числом операций умножения с накоплением, выполняемых за один такт для операндов длиной 8 бит.

Нейросигнальный процессор NEUROMATRIX NM6403 (фирма «Модуль», Россия)

Основой NeuroMatrix NM6403 является процессорное ядро NeuroMatrixCore (NMC), которое представляет собой синтезабильную модель высокопроизводительного DSP-процессора с архитектурой VLIM/SIMD (язык Ver ilog). Ядро состоит из двух базовых блоков: 32-бит RISC-процессора и 64-бит векторного процессора, обеспечивающего выполнение векторных операций над данными переменной разрядности (патент РФ.N2131145). Имеются два идентичных программируемых интерфейса для работы с внешней памятью различного типа и два коммуникационных порта, аппаратно совместимых с портами ЦПС TMS320C4x, для возможности построения многопроцессорных систем.

Основные характеристики:

• тактовая частота - 50 MГц (20 нс Љ время выполнения любой инструкции);
• 0,5-мкм КМОП-технология;
• корпус 256BGA;
• напряжение питания от 2,7 до 3,6 В;
• потребляемая мощность около 1,3 Вт при 50 МГц;
• условия эксплуатации: -60...+85°C.

RISC-ядро:

• 5-ступенчатый 32-разрядный конвейер;
• 32- и 64-разрядные команды (обычно выполняется две операции в одной команде);
• 2 адресных генератора, адресное пространство - 16 GB;
• 2 64-разрядных программируемых интерфейса с SRAM/DRAM-разделяемой памятью;
• формат данных Љ 32-разрядные целые;
• 8 32-разрядных регистров общего назначения;
• 8 32-разрядных адресных регистров;
• специальные регистры управления и состояния;

VECTOR-сопроцессор:

• переменная 1-64-разрядная длина векторных операндов и результатов;
• формат данных Љ целые числа, упакованные в 64-разрядные блоки в форме слов переменной длины от 1 до 64 разрядов каждое;
• поддержка векторно-матричных и матрично-матричных операций;
• два типа функций насыщения на кристалле;
• 3 внутренних 32x64-разрядных RAM-блока.

Производительность:

• скалярные операции:
• 50 MIPS;
• 200 MOPS для 32-разрядных данных;
• векторные операции: от 50 до 50 000 + MMAC (миллионов умножений с накоплением в секунду);

I/O и интерфейсы с памятью:

• пропускная способность двух 64-разрядных интерфейсов с памятью - до 800 Мбайт/с;
• I/O коммуникационные порты - до 20 Мбайт/с каждый.

Базовыми для нейропроцессора являются вычисления вида: Z_i = f (Y_i) = = f ( U_i + е( X_j W_ij), (i = 1,...,M; j = 1,...,N) , где Z_i - выходной сигнал i-ro нейрона, X_j - j-й входной сигнал слоя, U_i - смещение i-ro нейрона, W_ij - весовой коэффициент j-го входа 1-го нейрона, Y_i - сумма взвешенных входов i-го нейрона, f - функция активации, N - количество входных сигналов слоя, М - количество нейронов в слое. Операнды Z_i , X_i , U_i и W_ij представлены в дополнительном параллельном коде и могут иметь произвольную разрядность. Основными особенностями данного нейропроцессора являются:

• возможность работы с входными сигналами (синапсами) и весами переменной разрядности (от 1 до 64 бит), задаваемой программно, что обеспечивает уникальную способность нейропроцессора увеличивать производительность с уменьшением разрядности операндов;
• быстрая подкачка новых весов на фоне вычислений;
• 24 операции умножения с накоплением за один такт при длине операндов 8 бит;
• V-аппаратная поддержка эмуляции нейросетей большой размерности;
• реализация функции активации в виде пороговой функции или функции ограничения;
• наличие двух широких шин (по 64 разряда) для работы с внешней памятью любого типа: до 4 Мб SRAM и до 16 Гб DRAM;
• наличие 2-байт коммуникационных портов ввода/вывода, аппаратно совместимых с коммуникационными портами TMS320C4x для реализации параллельных распределённых вычислительных систем большой производительности;
• возможность работать с данными переменной разрядности по различным алгоритмам, реализуемым с помощью хранящихся во внешнем ОЗУ программ.

Технические характеристики:

• число вентилей на кристалле - 100 000;
• размер кристалла - 10x10,5 мм (при 0,7-мкм технологии);
• потребляемая мощность - не более 3 Вт;
• пиковая производительность для байтных операндов - 720 MCPS (миллионов соединений или умножений с накоплением в сек.) при тактовой частоте 30 МГц; при бинарных операциях - 8640 MCPS.

Нейропроцессор, благодаря своей универсальности, сможет применяться как базовый элемент для плат нейроускорителей PC, для создания нейрокомпьютерных параллельных вычислительных систем большой производительности, а также для аппаратной поддержки операций над матрицами большой размерности и в задачах цифровой обработки сигналов. Нейропроцессор используется в нейроускорителях фирмы «Модуль» (Россия) [5].

Процессор NeuroMatrix® NM6404

NeuroMatrix® NM6404 [5] представляет собой высокопроизводительный DSP-ориентированный RISC-микропроцессор. В его состав входят два основных блока: 32-разрядное RISC-ядро и 64-разрядное VECTOR-сопроцессор для поддержки операций над векторами с элементами переменной разрядности. NM6404 по системе команд совместим с предыдущей версией NM6403. Имеются два идентичных программируемых интерфейса для работы с внешней памятью различного типа и два коммуникационных порта, аппаратно совместимых с портами ЦПС TMS320C4x, для возможности построения многопроцессорных систем.

Особенности:

• тактовая частота - 133 MГц (8 нс - время выполнения любой инструкции);
• 0,25-мкм КМОП-технология;
• корпус PQFP256;
• напряжение питания - 2,5, 3,3, 5 В;
• потребляемая мощность - около 1,0 Вт;
• условия эксплуатации: -40...+80°C.

RISC-ядро:

• 5-ступенчатый 32-разрядный конвейер;
• 32- и 64-бит команды (обычно выполняется две операции в одной команде);
• 2-Мбит внутреннее ОЗУ;
• доступ к внутренней памяти соседей;
• 2 адресных генератора, адресное пространство - 16 GB;
• 2 64-разрядных программируемых интерфейса с SDRAM/SRAM/DRAM/Flash ROM разделяемой памятью;
• 4 одновременных доступа к внутренней памяти; широковещательный режим доступа к внешней памяти;
• 64 КB ROM; формат данных - 32-разрядные целые; 4 канала DMA;
• 2 коммуникационных порта ввода/вывода, аппаратно совместимых с портами TMS320C4x; JTAG-совместимый отладочный интерфейс; система управления потребляемой мощностью.

VECTOR-сопроцессор:

• от 1- до 64-разрядная длина векторных операндов и результатов;
• формат данных - целые числа, упакованные в 64-разрядные блоки в форме слов переменной длины от 1 до 64 разрядов каждое;
• поддержка векторно-матричных и матрично-матричных операций; 16 тактов на перезагрузку матрицы коэффициентов;
• свопирование рабочей и теневой матриц; два типа функций насыщения на кристалле.

Производительность:

• скалярные операции:
• 133 MIPS;
• 399 MOPS для 32-разрядных данных;
• векторные операции:
• от 133 до 38 000 + MMAC (миллионов умножений с накоплением в секунду);
• I/O и интерфейсы с памятью:
• пропускная способность двух 64-разрядных интерфейсов с памятью - 2128 Мбайт/с;
• I/O коммуникационные порты - до 20 Мбайт/с каждый.

NNP (Accurate Automation Corp.)

Процессор NNP (Neural Networks Processor ) построен по MIMD-архитектуре, то есть состоит из нескольких миниатюрных процессоров, работающих параллельно. Каждый из них представляет собой быстрый 16-разрядный вычислитель с памятью для хранения синаптических весов. Процессор имеет всего 9 простых команд. Процессоры на кристалле связаны друг с другом локальной шиной. NNP создан в коммерческих целях и доступен на рынке.

В комплект поставки процессора включены средства разработки программ, а также библиотека подпрограмм с реализованными нейросетевыми алгоритмами, такими как сети Хопфилда, сети Кохенена и другими.

Процессор выпускается на платах под шины ISA, VME. Производительность: 140 MCPS - для однопроцессорной системы и 1,4 GCPS - для 10-процессорной системы.

Нейропроцессор МА16 (Siemens)

МА16 изготовлен по 1-мкм КМОП-технологии, состоит из 610 тыс. транзисторов и выполняет до 400 млн. операций умножения и сложения в секунду. Используется в качестве элементной базы нейрокомпьютера Synaps 1 и нейроускорителей Synaps 2 и Synaps 3 (распространяемых сегодня на рынке французской фирмой TIGA TECHNOLOGIES).

МА16 представляет собой программируемый каскадируемый процессор для векторных и матричных операций. Он поддерживает на аппаратном уровне следующие операции:

• матричное умножение;
• матричное сложение/вычитание;
• нормировка результата;
• вычисление векторной нормы (метрики L1 и L2);
• вычисление векторного расстояния (мера Манхэттэна, геометрическое расстояние).

Процессор содержит 4 идентичных процессорных элемента, работающих параллельно. Входные данные имеют точность 16 бит, тактовая частота - 50 мГц. Для операций матричного умножения/сложения скорость вычислений достигает 8ґ10 8 операций/с. Программное обеспечение работает в среде UNIX/XWIND и реализовано на C++. Нейронная сеть тоже описывается на С++ или может вводится интерактивно с помощью графического интерфейса типа OSF/Motif, что позволяет визуализировать конфигурацию чипа после отображения на него структуры сети. Хорошо развиты средства тестирования и эмуляции. С 1995 года МА16 является коммерчески доступным продуктом.

Рис. 2. Функциональная схема МА16

MD1220 (Micro Devices)

Цифровой нейрочип MD1220 фирмы MICRO DEVICES содержит 8 нейронов с 8 связями и 16-разрядные сумматоры. Во внутрикристальной памяти хранятся 16-разрядные веса. Входы имеют одноразрядные последовательные умножители с продолжительностью такта 7,2 мкс. Средняя производительность - около 9 MCPS.

L-Neuro (Philips)

Нейропроцессор L-Neuro фирмы PHILIPS - один из первых нейропроцессоров. На сегодня широко известны две его модификации: L-Neuro 1.0 и L-Neuro 2.3. Вторая версия имеет 12 слоёв, а первая - один слой из 16 одноразрядных, или двух 8-разрядных, или 4 4-разрядных, или двух 8-разрядных процессорных элементов, то есть имеет возможность работать в мультиразрядном режиме. На кристалле реализован 1 Кбайт памяти для хранения 1024 8-разрядных или 512 16-разрядных весов. Гибкая каскадируемая структура нейрочипа позволяет использовать его при реализации различных нейросетевых парадигм. При реализации 64 8-разрядных процессорных элементов средняя производительность составляет 26 MCPS (32 MCUPS).

NLX-420 (NeuroLogix)

Каждый из 16 процессорных элементов нейрочипа NLX-420 фирмы NEUROLOGIX содержит 32-разрядный сумматор, логику параллельного выполнения 16 умножений. Средняя производительность - 300 MCPS. Также имеется возможность каскадирования и мультиразрядных вычислений.

СБИС ETANN 80170NX (INTEL)

Аналоговая СБИС ETANN 80170NX фирмы INTEL содержит 64 входа, 16 внутренних уровней и 64 нейрона (пороговый усилитель с сигмоидной передаточной функцией). Каждый вход соединён с 64 синапсами. Передаточная функция нейрона в СБИС близка к сигмоиде.

Усиление передаточной функции определяет чувствительность нейрона. Низкое значение усиления позволяет интерпретировать выход нейрона как аналоговый, а высокое - как цифровой. Максимальное значение выхода нейрона определяется напряжением V_refo . Веса ограничены интервалом [-2,5, 2,5]. Скорость прохождения сигнала по одному слою зависит от усиления и примерно равна 1,5 мкс, что и определяет быстродействие. Точность выполнения операций примерно эквивалентна 6 бит, быстродействие - 1,3-109 переключений/с. Обучение выполняется методом Back Propagation с помощью Intel Neural Network Training System (INNTS). Применяемое системное окружение представляет собой специальную версию пакета DynaMind. Обучение выполняется до получения приемлемого уровня ошибки выхода сети, и после достижения удовлетворительной работы веса загружаются в СБИС. Для реальной работы такого обучения недостаточно, так как программа симуляции не может точно смоделировать аналоговую работу СБИС и, например, не отслеживает флуктуации в передаточной функции каждого нейрона. Поэтому следующий этап обучения представляет собой так называемый chi p-in-loop (CIL) training, когда после каждого цикла веса записываются в СБИС, и выход сети непосредственно используется в процессе обучения. Точность ETANN - 5-6 разрядов для весов и выходов.

Поскольку ETANN представляет собой аналоговую СБИС, то для её надёжной работы важны стабильные внешние условия. Специально сконструированный для этого модуль обеспечивает низкую пульсацию источника питания < 5 мВ (напряжение питания 5 В) и температурную стабильность при 18°С < 1°С. Потребляемая мощность ETANN - 5 Вт.

СБИС CLNN32/CLNN64 (Bellcore)

Гибридный нейрочип CLNN32 состоит из 32 нейронов и 496 двунаправленных адаптивных синапса. CLNN64 содержит только 1024 адаптивных синапсов. В наборе CLNN32/CLNN64 все нейроны взаимосвязаны, так что любая топология сети отображается подбором синапсов. Динамика сети полностью аналоговая, но значения синапсов хранятся/обновляются в цифровом виде с точностью 5 бит. На аппаратном уровне реализовано обучение сети - подбор весов происходит по алгоритму обучения машины Больцмана или Mean Field. Внутри также имеется некоррелированный генератор шума (32 канала), используемый при обучении по методу машины Больцмана. CLNN32 может быть использован независимо или совместно с CLNN64 для построения более сложной архитектуры сети. Производительность достигает 10⁸ переключений/с (при работе с CLNN64 - удваивается). Для CLNN32 это означает, что примерно 10⁵ 32-бит образцов/с или 32 аналоговых канала (с полосой пропускания 50 кГц) могут быть использованы для быстрого распознавания/обучения. Время распространения для одного слоя нейронов < 1 мкс. "Охлаждение" (по методу Больцмана) или MF-обучение требует 10-20 мкс. По сравнению с ETANN, СБИС CLNN32 имеет следующие очевидные преимущества:

• быстрое обучение (микросекунды, по сравнению с часами при C1L-процессе);
• эффективный алгоритм обучения Больцмана, обеспечивающий быстрое нахождение "почти оптимального" решения;
• простые и быстрые процедуры чтения/записи весов, выполняемые в цифровом виде, что значительно увеличивает скорость обмена между сетевым сервером и клиентами в сети;
• лёгкая каскадируемостъ.

СБИС ANNA (AT&T)

Другим примером реализации гибридного нейрочипа является нейрочип ANNA фирмы AT&T. Логика нейрочипа - цифровая, хранение весов - аналоговое (на элементах динамической (конденсаторной) памяти). Чип содержит 4096 весов, максимальное число нейронов - 256. Точность весов - 6 разрядов, для однослойной сети 64x64 производительность достигает 2,1 GCPS.

СБИС NeuroClassifier

Аналоговая СБИС NeuroClassifier создана в университете Твенте совместно с фирмой DESY. Её архитектура состоит из входного слоя (70 входов, полоса пропускания - до 4 Гбайт/с), шести внутренних слоёв и одного выходного нейрона. Точность аналогового умножения - 5 бит, время решения - всего лишь 20 нс, что позволяет использовать NeuroClassifier в триггере первого уровня. Эквивалентное быстродействие - примерно 2x10¹⁰ переключений/с.

SAND/1 (Datafactory)

Компания DATAFACTORY (бывшая INCO) выпустила на рынок SAND/1 (Simple Applicable Neural Device). SAND/1 представляет собой каскадно соединённые систолические процессоры, оптимизированные для быстрого решения задач в нейросетевом базисе. Производительность одного процессора составляет 200 MCPS (миллионов связей в секунду). Процессор имеет 4 16-бит потока и 40-бит сумматор. SAND/1 был разработан Исследовательским центром в Карлсруе и Институтом микроэлектроники Штутгарта.

N64000 (Inova)

Этот нейрочип фирмы INOVA SIMD-архитектуры относится так же, как и предыдущий, к классу систолических нейропроцессоров. Он содержит 80 процессорных элементов, из которых 64 образуют основную матрицу, а 16 являются резервом, 4 Кбайт памяти весов и 32 регистра общего назначения. Арифметический модуль процессора имеет 9 параллельных 16-разрядных умножителя и один 32-разрядный сумматор.

100 NAP (Hecht-Nielson Computer)

Другой систолический нейрочип 100 NAP фирмы HECHT-NIELSON COMPUTER содержит 4 32-разрядных процессорных элемента с плавающей точкой. Средняя производительность - около 150 MFLOPS, адресуемое адресное пространство внекристальной памяти - 512 Кбайт.

MT19003 (Micro Circuit Engineering)

Нейрочип MT19003 фирмы MICRO CIRCUIT ENGINEERING также относится к классу систолических нейропроцессоров. Основой архитектуры является RISC-ядро с семью специальными командами, 16-разрядный векторный умножитель и 32-разрядный сумматор, внутрикристальная память для хранения весов отсутствует. Точность входов и весов - 13 разрядов. Средняя производительность - 50 MCPS.

NEURON (Echelon)

Нейропроцессор NEURON ориентирован на создание кластерно-параллельных вычислительных систем. Программно-алгоритмическое обеспечение по управлению кластерной структурой реализовано внутри кристала. Предложенная архитектура кристала стала в настоящее время основой стандарта ANSI/EIA 709.1-1999 построения различных АСУ технологическими процессами [2].

В семействе нейрочипов NEURON выделяют: NEURON 3120 и NEURON 3150. Структурная схема NEURON 3150 приведена на рис. 3.

Рис. 3. Структурная схема нейрочипа NEURON 3150 фирмы ECHELON (США)

Кристал содержит 2К динамической памяти для хранения весов и данных, 512 байт (EEPROM) для размещения управляющих программ. Для выполнения специализированных сетевых и управляющих операций в структуре кристала имеется два спецвычислителя: Applications CPU и Network CPU. Так же следует отметить широкие коммуникационные возможности, реализованные на кристалле.

ZISC036 (IBM)

Нейрочип ZISC036 (Zero Instructions Set Computer ) фирмы IBM относится к нейрочипам векторно-прототипной архитектуры, то есть алгоритм обучения строится на соотношении входного вектора и запомненных прототипных векторов весов входов нейронов. Он содержит 36 нейронов. Ориентирован на решение широкого круга задач, в том числе, задач распознавания образов и классификации. Каждый нейрон представляет собой независимый процессор.

ZISC способен решать и задачи в реальном масштабе времени (рис. 4).

Рис. 4. Функциональная схема процессора ZISC

Характеристики ZISC036:

• 36 нейронов;
• возможность соединения нескольких процессоров (каскадирования);
• от 1 до 64 компонент во входном векторе;
• наряжение питания - 5 В;
• потребляемая мощность - 1 Вт при 16 МГц;
• частота - 0-20 МГц;
• КМОП-технология;
• входной вектор загружается через 3,5 мкс, результат появляется через 0,5 мкс.

Для увеличения производительности фирма IBM разработала ISA и PCI модули параллельно работающих ZISC-процессоров.

Подводя итоги, приведём сводные данные по производительности некоторых наиболее интереснных нейропроцессоров (табл. 2).

Таблица 2*

* ) в таблице приведены средние округлённые показатели производительности.

В третьей части обзора мы перейдём к анализу вопросов структурно-функционального построения конкретных нейроускорителей и нейрокомпьютеров.

Литература

1. Проблемы построения и обучения нейронных сетей / под ред. А.И. Галушкина и В.А. Шахнова. - М.: Издво Машиностроение. Библиотечка журнала Информационные технологии №1. - 1999. - 105 с.
2. Галушкин А.И. Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80- и 90-е годы)// Нейрокомпьютер. - 2000. - № 1. - С. 68-82.
3. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. - Новосибирск: Наука. Сибирская издательская фирма РАН. 1996. Љ 276 с.
4. http://neurnews.iu4.bmstu.ru.
5. http://www.module.ru.

vlasov@chat.ru