Главная
страница 1
скачать файл
МИНИСТЕРСТВО ОБРАЗОВАНИЯ РОССИЙСКОЙ ФЕДЕРАЦИИ
АКАДЕМИЯ БЮДЖЕТА И КАЗНАЧЕЙСТВА

МИНИСТЕРСТВА ФИНАНСОВ РОССИЙСКОЙ ФЕДЕРАЦИИ


ОМСКИЙ ФИЛИАЛ
Реферат

по дисциплине

«ЭКОНОМЕТРИКА»


Студентки: fgfdhf
Группа № 3Ф3 Курс № 3
Тема: «Метод главных компонент»
Факультет: Финансовый

Специализация: Финансы и кредит

Отделение: Очное
Научный руководитель: Лебедева Е.С.

Омск – 2006 / 2007 уч. год



Содержание.



Введение 3

1.Статистический подход в методе главных компонент 4

2. Многомерное нормальное распределение 5

Таблица 1 5

Аналоги одномерных статистических методов 5

3.Линейная модель метода главных компонент. Метод Фадеева – одновременное вычисление коэффициентов характеристического многочлена и присоединенной матрицы 8

Главные компоненты являются характеристическими векторами ковариационной матрицы. 8



12

4.Квадратичные формы и главные компоненты. 13

Заключение 17



Список использованной литературы 18


Введение


Во многих задачах обработки многомерных наблюдений и, в частности, в задачах классификации исследователя интересуют в первую очередь лишь те признаки, которые обнаруживают наибольшую изменчивость (наибольший разброс) при переходе от одного объекта к другому.

С другой стороны, не обязательно для описания состояния объекта использовать какие-то из исходных, непосредственно замеренных на нем признаков. Так, например, для определения специфики фигуры человека при покупке одежды достаточно назвать значения двух признаков (размер-рост), являющихся производными от измерений ряда параметров фигуры. При этом, конечно, теряется какая-то доля информации (портной измеряет до одиннадцати параметров на клиенте), как бы огрубляются (при агрегировании) получающиеся при этом классы. Однако, как показали исследования, к вполне удовлетворительной классификации людей с точки зрения специфики их фигуры приводит система, использующая три признака, каждый из которых является некоторой комбинацией от большого числа непосредственно замеряемых на объекте параметров.

Именно эти принципиальные установки заложены в сущность того линейного преобразования исходной системы признаков, которое приводит к главным компонентам.

Таким образом тема «Методы главных компонент» является актуальной.

Целью данного реферата является рассмотрение метода главных компонент. В соответствии с поставленной целью необходимо выполнить следующие задачи:

1. Рассмотрение статистического подхода в методе главных компонент

2. Изучение многомерного нормального распределения

3. Рассмотрение линейной модели метода главных компонент и метода Фаддеева

4. Изучение квадратичных форм и главных компонент.

1.Статистический подход в методе главных компонент

В зависимости от конкретных задач, решаемых в экономике, используется один из методов факторного анализа, или метод главных компонент.

Метод главных компонент считается статистическим методом. Однако есть другой подход, приводящий к методу главных компонент, но не являющийся статистическим. Этот подход связан с получением наилучшей проекции точек наблюдения в пространстве меньшей размерности. Для решения подобной задачи необходимо знать матрицу вторых моментов.

В статистическом подходе задача заключается в выделении линейных комбинаций случайных величин, имеющих максимально возможную дисперсию. Он опирается на ковариационную или корреляционную матрицу этих случайных величин. У этих двух разных подходов есть общий аспект: использование матрицы вторых моментов как исходный для начала анализа.

Для овладения методом главных компонент необходимо пользоваться методами теории вероятности и математической статистики на основе моделей линейной алгебры.

Учитывая, что объекты исследования в экономике (фирма, завод, министерство, отрасль народного хозяйства, экономика страны) характеризуются большим, но конечным количеством признаков (характеристик), влияние которых подвергается воздействию большого количества случайных причин, в качестве моделей в статистическом плане берутся многомерные распределения, а в алгебраическом – многомерное пространство признаков.




2. Многомерное нормальное распределение


Математической моделью, на которой основываются методы многомерного статистического анализа (в том числе и методы факторного и компонентного анализа), является многомерное нормальное распределение.

Из центральной предельной теоремы следует, что предельным распределением одномерных независимых случайных величин является одномерный нормальный закон.

Из обобщённой центральной предельной теоремы получаем, что предельным распределением в случае нескольких измерений является многомерное нормальное распределение.

В настоящее время многомерные методы, основанные на нормальном распределении, нашли широкое распространение при изучении различных процессов в экономике.

Среди математических методов многомерного анализа выделяют:

1.Корреляция. При изучении корреляции рассматриваются различные коэффициенты корреляции.



Выборочные коэффициенты корреляции используются для оценки соответствующих параметров распределения.

Частный коэффициент корреляции измеряет зависимость между случайными величинами, когда действие других коррелированных случайных величин исключено.

При помощи множественного коэффициента корреляции распространяется понятие коэффициента корреляции на измерение зависимости между одной случайной величиной и множеством случайных величин.

2.Аналоги одномерных статистических методов в многомерном анализе.

Многие проблемы, решаемые в многомерном статистическом анализе, когда изучаются многомерные совокупности, имеют свои аналоги при изучении одномерных совокупностей. Эти проблемы представлены в таблице 1.


Таблица 1

Аналоги одномерных статистических методов


Одномерное случайное распределение

Многомерное случайное распределение

Проверка гипотезы о математическом ожидании: М[х]=μ

Проверка гипотезы о векторе математических ожиданий:

М[ ,,…]Т



t-критерий Стьюдента

Обобщенный Т2 критерий для многомерного распределения

Метод наименьших квадратов

Обобщение метода наименьших квадратов на многомерный случай

Дисперсионный анализ

Обобщение дисперсионного анализа на многомерное распределение

Для этих проблем выбор системы координат связан с линейным преобразованием переменных.

3.Проблемы системы координат.

В ряде случаев удачный выбор новой системы координат может наиболее экономным способом выявить некоторые важные для исследователя свойства многомерной случайной совокупности.

Примером может служить выявление главных компонент, т.е. отыскание такой нормализованной линейной комбинации случайных величин, чтобы ее дисперсия была максимальной или минимальной. Это равноценно повороту осей, который приводит ковариационную матрицу к диагональной форме. Другой пример – нахождение канонических корреляций. Для решения подобных задач требуется определение характеристических корней различных систем линейных алгебраических уравнений.

4.Проблемы классификации.

Это разбиение множества случайных величин на подмножества. Возникает важный вопрос проверки гипотезы о независимости подмножеств. Факторный анализ, метод главных компонент и кластерный анализ обычно используют в задачах многомерной классификации.

5.Зависимость наблюдений.

Если в экономических исследованиях мы занимаемся анализом временных рядов, то сталкиваемся с наблюдениями над рядами случайных величин, последовательными во времени. Наблюдения в данный момент времени могут зависеть от ранее произведенных наблюдений. Это требует, например, изучения внутрирядной корреляции.

Поскольку в качестве основной статистической модели выступает многомерное нормальное распределение, стоит остановится более подробно на этом распределении, которое полностью распределяется своей квадратичной формой, а последняя зависит от вектора математических ожиданий и ковариационной матрицы. Эта зависимость четко определяется следующей теоремой.



Теорема 1. Если даны вектор μ и положительно определенная матрица Σ, то существует такая многомерная нормальная плотность распределения вероятностей:

Nn (х / μ, Σ) = , (1)

что математическое ожидание случайного вектора х с этой плотностью распределения есть μ и ковариационная матрица есть Σ.

Обычно плотность распределения вероятностей обозначают так, как записано слева в равенстве (1), а многомерный нормальный закон распределения обозначают N (μ, Σ). В данном распределении интересует структура ковариационной матрицы и ее связь с корреляционной матрицей. Это можно сделать в общем виде для случайного вектора n-го порядка. Однако удобней обратиться к простейшему многомерному распределению – двумерному.

При рассмотрении двумерного нормального распределения можно легко убедиться в том, что коэффициенты корреляции и дисперсии случайных величин являются основными числовыми характеристиками наряду с математическими ожиданиями. Если конечное число случайных величин n=2, то роль дисперсий выполняет ковариационная (корреляционная) матрица. Элементы этой матрицы получаются из экспериментальных или статистических данных и являются статистическими величинами, требующими своей оценки. В методе главных компонент потребуется также оценка и весовых коэффициентов модели.

3.Линейная модель метода главных компонент. Метод Фадеева – одновременное вычисление коэффициентов характеристического многочлена и присоединенной матрицы


Общие положения
Рассмотрим модель метода главных компонент:

(6)

где - r-я главная компонента;



- вес r-й компоненты на j-й переменной;

- центрированное (нормированное) значение j-признака.

Главные компоненты являются характеристическими векторами ковариационной матрицы.


Множество главных компонент представляет собой удобную систему координат, а соответствующие дисперсии главных компонент характеризуют их статистические свойства. Из общего числа главных компонент для исследования, как правило, оставляют m (mТаким образом, несмотря на то, что в методе главных компонент для точного воспроизведения корреляций и дисперсий между переменными необходимо найти все компоненты, а по главным компонентам описать признаки. Для центроидного метода факторного анализа это принципиально невозможно; можно лишь добиваться, чтобы дисперсия остатков была минимальной. Метод главных компонент одинаково хорошо приближает ковариации и дисперсии. Следует отметить еще одно существенное свойство метода – это его линейность и аддитивность. Центроидный метод, например, несет в себе только гипотезу линейности. Если она не верна, то результаты могут быть использованы только для первого приближения. В настоящее время часто используется центроидный метод для получения приближенных оценок, которые затем уточняются методом максимума правдоподобия.


Метод Фадеева – одновременное вычисление коэффициентов характеристического многочлена и присоединенной матрицы.

При помощи методы Фадеева одновременно определяются:

а) - скалярные коэффициенты характеристического многочлена

(7)

б) B1,B2,….,Bn-1 - матричные коэффициенты присоединенной матрицы.

При помощи trA следа матрицы получаем

,

если - характеристики числа матрицы A, т.е. .



Теорема. Если - все характеристические числа (с учетом крайностей) матрицы A, а - некоторый скалярный многочлен, то - являются характеристическими числами матрицы .

Частный случай. Дана матрица A; - ее характеристические числа. Определить характеристические числа матрицы .

В соответствии с теоремой =.

Поэтому .

Отсюда следует, что

Суммы степеней многочлена (7) связаны с коэффициентами этого уравнения формулами Ньютона.

(8)

Метод Леверрье. Определение коэффициентов характеристического многочлена по следам степеней матрицы заключается в следующем:


  1. определяются - следы матрицы .

  2. по (8) последовательно определяются .


Метод Фаддеева

Фаддеев предложил вместо следов степеней матриц вычислять последовательно следы других матриц и с их помощью определить и .



(9)

Для контроля вычислений можно воспользоваться последней формулой . Убедимся, что по системе (9) ; последовательно определяемые, являются коэффициентами и .

Используя систему (9) для и получим:

(10)

(11)

Приравняем следы левой и правой частей (10)



(12)

Выражения (12) и (8) совпадают с формулами Ньютона, по которым последовательно определяются коэффициенты характеристического многочлена . Значит, числа системы (9) являются коэффициентами .

По формуле (11) определяют матричные коэффициенты присоединительной матрицы .

Значит система (9) определяет коэффициенты матричного многочлена .


Пример. Вычислить собственные значения и собственные векторы матрицы



Решение методом Фаддеева

  1. Составим характеристическое уравнение



  1. Запишем его в виде многочлена 3-ей степени относительно

3.

4.








5.

6. Получены все члены характеристического уравнения



7. Определим корни характеристического уравнения



8. Определим собственный вектор, соответствующий λ1=9; подставим в систему уравнений λ=9.



Система однородная, все bi, т.е. определители, равны 0. Система неполная (уравнения зависимы) и имеет бесконечное множество решений. Одно решение может быть выбрано произвольно. В этом случае можно определить отношение корней: ,

где Аij-алгебраические дополнения элементов любой строки.

Решение этой системы уравнений позволяет определить следующие соотношения: .

Значит, собственный вектор .

9. Определим собственный вектор, соответствующий λ2=6.







10. Определим собственный вектор, соответствующий λ3=3.






4.Квадратичные формы и главные компоненты.


Для того чтобы представить в геометрическом плане главные компо­ненты, рассмотрим простейшие случаи: плоскости и пространства трех измерений.

Пусть дано уравнение линии второго порядка:



Ах2 +2Вху + Су2 =Н. (13)

Левая часть уравнения (13) не меняется при замене х,у на -х, -у. Зна­чит, во-первых, точки линии (13) расположены парами симметрично от­носительно начала координат. Во-вторых, линия второго порядка, задан­ная (13), обладает центром симметрии и, в-третьих, начало координат помещено в центр. Левая часть (13) представляет собой однородный многочлен второй степени. Такой многочлен называют квадратичной формой от двух переменных.



Ах2 +2Вху + Су2 (14)

Приведем данную квадратичную форму (14) к каноническому виду. Для этого надо будет повернуть так координатные оси х и у, чтобы в новых координатах исчез член с произведением новых текущих координат. Пере­ход к новым координатам производится по известным формулам:



(15)

Старые координаты связаны с новыми по формулам:



(16)

где х' и у' - новые координаты.






Характеристика коэффициентов со старыми координатами представ­лена на рис.1.
Рис. 1. Единичный вектор и его компоненты

На рис.1 на новой оси абсцисс отложен отрезок ОХ1 единичной дли­ны, тогда его проекции на старые координатные оси составят:



(17)

где α - угол поворота осей х и у.

Значит, вектор с компонентами l1 и m1 является единичным вектором, определяющим направление новой оси абсцисс х':

(18)

Аналогично единичный вектор, определяющий направление новой оси у' ординат, имеет вид:



(19)

Чтобы привести квадратич­ную форму (14) к каноническому виду, нужно в (14) величины х и у заменить согласно формуле (16). Квадратичная форма примет вид:

. Ах2 + 2Вху + Су2хх’22у’2. (20)

Для решения (20) достаточно подобрать так коэффициенты (16) и числа λ12, чтобы



Значит, надо решить систему уравнений



(21)

В системе (21) перенесем правые части влево и получим



(22)

Определитель данной системы



=0. (23)

можно представить в виде



(24)

Откуда


(25)

Уравнение (23) представляет собой характеристическое уравнение квадратичной формы, а корни этого уравнения λ1 и λ2 являются харак­теристическими числами этой формы. После приведения формы к кано­ническому виду числа λ1 и λ2 являются коэффициентами при неиз­вестных.

Так как выражение под радикалом, равное

(А-С)2 +4В2 0, (26)

неотрицательно, то уравнение (22) имеет только действительные корни. Отдельно рассмотрим случай, когда



(А-С)2 +4В2>0. (27)

При этом условии λ1 ≠ λ2 . Подставим в (21) λ = λ1 . Система будет иметь ненулевое решение l и т.

Полученный вектор будет иметь главное направление квадратичной формы, которое соответствует характеристическому числу λ1.По этому же главному направлению, которое соответствует числу λ1 направлен и вектор т.е. (28)

где µ≠0.


Если примем, что, то по системе (28) .

Вектор является единичным вектором главного направления.

Векторопределяет другое главное направление квадратичной формы.

Если λ1 ≠ λ2 , векторы главных направле­ний взаимно перпендикулярны.

Другой случай соответствует

(А-С)2 + АВ2 = 0. (29)

В данном случае



. (30)

Из выражения (25) λ = А = С.

Подставим в выражение (24) полученное значение λ и убедимся в том, что все коэффициенты системы обращаются в нуль. Таким образом, система (22) будет состоять из тождеств. Ей подходят любые числа l и т.

В результате можно заключить, что если λ1 = λ2, то для квадратичной формы любое направление является главным. При повороте осей на лю­бой угол форма сохранит свой канонический вид Ах2 + Ау2.

При любом преобразовании квадратичной формы к любым прямо­угольным координатам не меняются ее инварианты

. (31)

Согласно теореме Виета АС-В2= λ1 λ2 . (32)

1. Если λ1 ≠ 0; λ2 ≠ 0 имеют одинаковые знаки, то квадратичная
форма называется эллиптической: АС-В2>0. (33)

2. Если λ1 ≠ 0; λ2 ≠ 0, но знаки у них разные, то форма называется


гиперболической: АС-В2<0. (34)

3. Если одно из чисел λ1, λ2 равно нулю, т.е. АС-В2 =0, то форма


называется параболической.

В методе главных компонент характеристические числа по своему фи­зическому смыслу не могут равняться нулю и быть отрицательными. Зна­чит, λ1>0 и λ2 >0. В этом случае квадратичная форма будет называться положительно определенной эллиптической формой.

На рис.2 показаны переход от произвольной системы координат к системе с точкой нуль в центре эллипса и поворот осей, осуществленный для приведения квадратичной формы к каноническому виду. После при­ведения к каноническому виду ось абсцисс, соответствующая λ1, направ­лена по одной главной оси эллипса (главному направлению), а ось коор­динат, соответствующая другому главному направлению, направлена перпендикулярно к ней вдоль другой главной оси эллипса. Вдоль главной оси эллипса оу направлена первая главная компонента, а вдоль оси ох направлена вторая главная компонента.






Рис. 2. Перенос системы координат (х,0,у) в центр эллипса и поворот на угол α.

На рис. 2 первое главное направление (у') определяется λ1, а второе главное направление (х') определяется характеристическим числом λ2 .


Заключение


На основании изученной темы и проделанной работы по написанию данного реферата можно сделать вывод, что поставленные цель и задачи нашли здесь свое отражение.

Метод главных компонент считается статистическим методом.

Учитывая, что объекты исследования в экономике характеризуются большим, но конечным количеством признаков (характеристик), влияние которых подвергается воздействию большого количества случайных причин, в качестве моделей в статистическом плане берутся многомерные распределения.

Из оптимальных свойств главных компонент следует, что они оказываются полезным статистическим инструментарием в задачах «автопрогоноза» большого числа анализируемых показателей по сравнительно малому числу вспомогательных переменных, визуализации многомерных данных, построение типообразуюших признаков; при типологизации многомерных объектов, при предварительном анализе геометрической и вероятностной природы массива исходных данных. К методу главных компонент обращаются и при построении различного рода регрессионных моделей.



Список использованной литературы


  1. Дубров А.М., Мхиторян В.С., Трошин Л.И. Многомерные статистические методы.- М.: Финансы и статистика, 1998.
скачать файл



Смотрите также:
Реферат по дисциплине «эконометрика»
162.68kb.
Реферат по дисциплине «Теоретические основы прогрессивных технологий»
125.6kb.
Реферат по дисциплине «Материаловедение» на тему: «Булатная сталь»
245.34kb.
Реферат по дисциплине «Экономическая теория» На тему: «Теневая политика»
126.97kb.
Реферат по дисциплине «Введение в специальность» Тема «История туризма в России в конце 19 нач. 20 вв.»
74.88kb.
Реферат по дисциплине «Информационные технологии»
163.13kb.
Реферат по дисциплине: "История" на тему: "Манифест 17 октября"
102.19kb.
Практическая работа по дисциплине маркетинг
14.31kb.
Реферат по учебной дисциплине «Новые информационные технологии в работе специалиста-международника»
172.88kb.
Реферат на тему: Роль государства выходе из кризиса 1997 года в экономике Японии по дисциплине: Экономика изучаемого региона(Япония) Ташкент 2013
260.28kb.
Реферат по дисциплине «Математика» на тему: «Спички детям не игрушка…»
168.79kb.
Реферат по дисциплине "Основы современных технологий" Технология производства швейных изделий Исполнитель
221.94kb.