MÉTODOS NUMÉRICOS

miércoles, 27 de mayo de 2020

¿QUÉ SON LOS MÍNIMOS CUADRADOS?

Es un procedimiento de análisis numérico en la que, dados un conjunto de datos (pares ordenados y familia de funciones), se intenta determinar la función continua que mejor se aproxime a los datos (línea de regresión o la línea de mejor ajuste), proporcionando una demostración visual de la relación entre los puntos de los mismos. En su forma más simple, busca minimizar la suma de cuadrados de las diferencias ordenadas (llamadas residuos) entre los puntos generados por la función y los correspondientes datos.

Este método se utiliza comúnmente para analizar una serie de datos que se obtengan de algún estudio, con el fin de expresar su comportamiento de manera lineal y así minimizar los errores de la data tomada.

La creación del método de mínimos cuadrados generalmente se le acredita al matemático alemán Carl Friedrich Gauss, quien lo planteó en 1794 pero no lo publicó sino hasta 1809. El matemático francés Andrien-Marie Legendre fue el primero en publicarlo en 1805, este lo desarrolló de forma independiente.

DEFINICIÓN:

Su expresión general se basa en la ecuación de una recta y = mx + b. Donde m es la pendiente y b el punto de corte, y vienen expresadas de la siguiente manera:

Σ es el símbolo sumatoria de todos los términos, mientas (x, y) son los datos en estudio y n la cantidad de datos que existen.

El método de mínimos cuadrados calcula a partir de los N pares de datos experimentales (x, y), los valores m y b que mejor ajustan los datos a una recta. Se entiende por el mejor ajuste aquella recta que hace mínimas las distancias d de los puntos medidos a la recta.

Teniendo una serie de datos (x, y), mostrados en un gráfico o gráfica, si al conectar punto a punto no se describe una recta, debemos aplicar el método de mínimos cuadrados, basándonos en su expresión general:

Cuando se haga uso del método de mínimos cuadrados se debe buscar una línea de mejor ajuste que explique la posible relación entre una variable independiente y una variable dependiente. En el análisis de regresión, las variables dependientes se designan en el eje y vertical y las variables independientes se designan en el eje x horizontal. Estas designaciones formarán la ecuación para la línea de mejor ajuste, que se determina a partir del método de mínimos cuadrados.

EJEMPLO DEL MÉTODO DE MÍNIMOS CUADRADOS

Para entender con claridad la aplicación del método veamos un ejemplo:

Encontrar la recta que mejor se ajusta a los siguientes datos:

Veamos el gráfico:

Necesitamos encontrar una recta y = mx + b. Debemos aplicar el método de mínimos cuadrados. Como ya sabemos entonces, primero centraremos el valor (x ∙ y):

Segundo por las expresiones de m y b debemos encontrar el valor x²:

Ahora podemos obtener los valores de las sumatorias de cada columna:

$\sum x=55\hspace{0.8em};\hspace{0.8em}\sum y=57\hspace{0.8em};\hspace{0.8em} \sum(x·y)=233\hspace{0.8em};\hspace{0.8em} \sum {x^{2}} = 473\hspace{0.8em} ;\hspace{0.8em}n=9$

Sustituimos en cada una de las expresiones:

$m=\frac{\left ( 9\cdot 233-55\cdot 57 \right )}{9\cdot 473-\left | 55 \right |^{2}}=-\frac{1038}{1232}=-0,84$

$b=\frac{\left ( 57\cdot 473-55\cdot 233 \right )}{9\cdot 473-\left | 55 \right |^{2}}=\frac{14146}{1232}=11,48$

La recta obtenida con el método de los mínimos cuadrados es la siguiente:

$y=\left ( -0,84 \right )\cdot x+11,48$

Observemos el gráfico:

Vemos que la recta corta al eje y en 11,48 y en el eje x en 13,57. Por lo tanto, si queremos saber dónde corta en el eje x igualamos la ecuación y = 0:

$0=\left ( -0,84 \right )\cdot x+11,48$

Despejamos x:

$x=-\frac{11,48}{-0,84}=13,57$

Otros artículos que te puedan interesar: Forma estándar de una función lineal

¿Se acerca el día de tu examen y tienes dudas sobre el tema? ¿Tienes que resolver problemas de matemáticas y no sabes cómo? ¡En MiProfe podemos ayudarte! Tenemos para ti clases online que puedes contratar sin importar el lugar donde estés, ¡tenemos un profesor particular online que puede ayudarte los 7 días de la semana! Y lo mejor, es que tenemos planes de clases con lo que puedes asegurarte un gran ahorro.

5.4 Regresión y correlación

Correlación lineal

Para estudiar la relación lineal existente entre dos variables continuas es necesario disponer de parámetros que permitan cuantificar dicha relación. Uno de estos parámetros es la covarianza, que indica el grado de variación conjunta de dos variables aleatorias.

Covarianza muestral=Cov(X,Y)=∑ni=1(xi−x¯¯¯)(yi−y¯¯¯)N−1Covarianza muestral=Cov(X,Y)=∑i=1n(xi−x¯)(yi−y¯)N−1

siendo x¯¯¯x¯ e y¯¯¯y¯ la media de cada variable y xixi e yiyi el valor de las variables para la observación ii.

La covarianza depende de las escalas en que se miden las variables estudiadas, por lo tanto, no es comparable entre distintos pares de variables. Para poder hacer comparaciones se estandariza la covarianza, generando lo que se conoce como coeficientes de correlación. Existen diferentes tipos, de entre los que destacan el coeficiente de Pearson, Rho de Spearman y Tau de Kendall.

Todos ellos varían entre +1 y -1. Siendo +1 una correlación positiva perfecta y -1 una correlación negativa perfecta.
Se emplean como medida de fuerza de asociación (tamaño del efecto):
0: asociación nula.
0.1: asociación pequeña.
0.3: asociación mediana.
0.5: asociación moderada.
0.7: asociación alta.
0.9: asociación muy alta.

Las principales diferencias entre estos tres coeficientes de asociación son:

La correlación de Pearson funciona bien con variables cuantitativas que tienen una distribución normal. En el libro Handbook of Biological Statatistics se menciona que sigue siendo bastante robusto a pesar de la falta de normalidad. Es más sensible a los valores extremos que las otras dos alternativas.

La correlación de Spearman se emplea cuando los datos son ordinales, de intervalo, o bien cuando no se satisface la condición de normalidad para variables continuas y los datos se pueden transformar a rangos. Es un método no paramétrico.

La correlación de Kendall es otra alternativa no paramétrica para el estudio de la correlación que trabaja con rangos. Se emplea cuando se dispone de pocos datos y muchos de ellos ocupan la misma posición en el rango, es decir, cuando hay muchas ligaduras.

Además del valor obtenido para el coeficiente de correlación, es necesario calcular su significancia. Solo si el p-value es significativo se puede aceptar que existe correlación, y esta será de la magnitud que indique el coeficiente. Por muy cercano que sea el valor del coeficiente de correlación a +1+1 o −1−1, si no es significativo, se ha de interpretar que la correlación de ambas variables es 0, ya que el valor observado puede deberse a simple aleatoriedad.

El test paramétrico de significancia estadística empleado para el coeficiente de correlación es el t-test. Al igual que ocurre siempre que se trabaja con muestras, por un lado está el parámetro estimado (en este caso el coeficiente de correlación) y por otro su significancia a la hora de considerar la población entera. Si se calcula el coeficiente de correlación entre XX e YY en diferentes muestras de una misma población, el valor va a variar dependiendo de las muestras utilizadas. Por esta razón se tiene que calcular la significancia de la correlación obtenida y su intervalo de confianza.

t=rN−2−−−−−√1−r2−−−−−√, df=N−2t=rN−21−r2, df=N−2

Para este test de hipótesis, H0H0 considera que las variables son independientes (coeficiente de correlación poblacional = 0) mientras que, la HaHa, considera que existe relación (coeficiente de correlación poblacional ≠≠ 0)

La correlación lineal entre dos variables, además del valor del coeficiente de correlación y de sus significancia, también tiene un tamaño de efecto asociado. Se conoce como coeficiente de determinación R2R2. Se interpreta como la cantidad de varianza de YY explicada por XX. En el caso del coeficiente de Pearson y el de Spearman, R2R2 se obtiene elevando al cuadrado el coeficiente de correlación. En el caso de Kendall no se puede calcular de este modo. (No he encontrado como se calcula).

Mediante bootstrapping también se puede calcular la significancia de un coeficiente de correlación. Es una alternativa no paramétrica al t-test. Resampling: Test de permutación, Simulación de Monte Carlo y Bootstrapping).
Regresión lineal simple

La información aquí presente recoge los principales conceptos de la regresión lineal. Se puede encontrar una descripción mucho más detallada en los libros Introduction to Statistical Learning y en Linear Models with R.

La regresión lineal simple consiste en generar un modelo de regresión (ecuación de una recta) que permita explicar la relación lineal que existe entre dos variables. A la variable dependiente o respuesta se le identifica como YY y a la variable predictora o independiente como XX.

El modelo de regresión lineal simple se describe de acuerdo a la ecuación:

Y=β0+β1X1+ϵY=β0+β1X1+ϵ

Siendo β0β0 la ordenada en el origen, β1β1 la pendiente y ϵϵ el error aleatorio. Este último representa la diferencia entre el valor ajustado por la recta y el valor real. Recoge el efecto de todas aquellas variables que influyen en YY pero que no se incluyen en el modelo como predictores. Al error aleatorio también se le conoce como residuo.

En la gran mayoría de casos, los valores β0β0 y β1β1 poblacionales son desconocidos, por lo que, a partir de una muestra, se obtienen sus estimaciones β^0β^0 y β^1β^1. Estas estimaciones se conocen como coeficientes de regresión o least square coefficient estimates, ya que toman aquellos valores que minimizan la suma de cuadrados residuales, dando lugar a la recta que pasa más cerca de todos los puntos. (Existen alternativas al método de mínimos cuadrados para obtener las estimaciones de los coeficientes).

y^=β^0+β^1xy^=β^0+β^1x

β^1=∑ni=1(xi−x¯¯¯)(yi−y¯¯¯)∑ni=1(xi−x¯¯¯)2=SySxRβ^1=∑i=1n(xi−x¯)(yi−y¯)∑i=1n(xi−x¯)2=SySxR

β^0=y¯¯¯−β^1x¯¯¯β^0=y¯−β^1x¯

Donde SySy y SxSx son las desviaciones típicas de cada variable y RR el coeficiente de correlación. β^0β^0 es el valor esperado la variable YY cuando XX = 0, es decir, la intersección de la recta con el eje y. Es un dato necesario para generar la recta, pero en ocasiones, no tiene interpretación práctica (situaciones en las que XX no puede adquirir el valor 0).

Una recta de regresión puede emplearse para diferentes propósitos y dependiendo de ellos es necesario satisfacer distintas condiciones. En caso de querer medir la relación lineal entre dos variables, la recta de regresión lo va a indicar de forma directa (ya que calcula la correlación). Sin embargo, en caso de querer predecir el valor de una variable en función de la otra, no solo se necesita calcular la recta, sino que además hay que asegurar que el modelo sea bueno.

Inferencia mediante regresión lineal. Significancia e intervalo de confianza para β0β0 y β1β1

En la mayoría de casos, aunque el estudio de regresión se aplica a una muestra, el objetivo último es obtener un modelo lineal que explique la relación entre las dos variables en toda la población. Esto significa que el modelo generado es una estimación de la relación poblacional a partir de la relación que se observa en la muestra y, por lo tanto, está sujeta a variaciones. Para cada uno de los parámetros de la ecuación de regresión lineal simple (β0β0 y β1β1) se puede calcular su significancia (p-value) y su intervalo de confianza. El test estadístico más empleado es el t-test (existen alternativas no paramétricas).

El test de significancia para la pendiente (β1β1) del modelo lineal considera como hipótesis:

H0H0: No hay relación lineal entre ambas variables por lo que la pendiente del modelo lineal es cero. β1=0β1=0

HaHa: Sí hay relación lineal entre ambas variables por lo que la pendiente del modelo lineal es distinta de cero. β1≠0β1≠0

De esta misma forma también se aplica a (β0β0)

Cálculo del estadístico T y del p-value:

t=β^1−0SE(β^1) ; t=β^0−0SE(β^0)t=β^1−0SE(β^1) ; t=β^0−0SE(β^0)

El error estándar de β^0β^0 y β^1β^1 se calcula con las siguientes ecuaciones:

SE(β^0)2=σ2[1n+x¯¯¯2∑ni=1(xi−x¯¯¯)2]SE(β^0)2=σ2[1n+x¯2∑i=1n(xi−x¯)2]

SE(β^1)2=σ2∑ni=1(xi−x¯¯¯)2SE(β^1)2=σ2∑i=1n(xi−x¯)2

La varianza del error σ2σ2 se estima a partir del Residual Standar Error (RSE), que puede entenderse como la diferencia promedio que se desvía la variable respuesta de la verdadera línea de regresión. En el caso de regresión lineal simple, RSE equivale a:

RSE=1n−2RSS−−−−−−−−−√=1n−2∑i=1n(yi−y^i)−−−−−−−−−−−−−−−√RSE=1n−2RSS=1n−2∑i=1n(yi−y^i)

Grados de libertad (df) = número observaciones - 2 = número observaciones -número predictores - 1

p-value = P(|t| > valor calculado de t)

Intervalos de confianza

β^0±tα/2dfSE(β^0)β^0±tdfα/2SE(β^0)

β^1±tα/2dfSE(β^1)β^1±tdfα/2SE(β^1)

Cuanto menor es el número de observaciones nn, menor la capacidad para calcular el error estándar del modelo. Como consecuencia, la exactitud de los coeficientes de regresión estimados se reduce. Esto tiene importancia sobretodo en la regresión múltiple.

En R, cuando se genera el modelo de regresión lineal, se devuelve junto con el valor de la pendiente y la ordenada en el origen el valor del estadístico tt obtenido para cada uno y los p-valuecorrespondientes. Esto permite saber, además de la estimación de β0β0 y β1β1 , si son significativamente distintos de 0. Si se desea conocer los intervalos de confianza para cada uno de los parámetros se pueden calcular con la función conint().

Residuos del modelo

El residuo de una estimación se define como la diferencia entre el valor observado y el valor esperado acorde al modelo. A la hora de sumarizar el conjunto de residuos hay dos posibilidades:

El sumatorio del valor absoluto de cada residuo.

El sumatorio del cuadrado de cada residuo (RSS). Esta es la aproximación más empleada (mínimos cuadrados) ya que magnifica las desviaciones más extremas. En R, cuando se genera un modelo los residuos también se calculan automáticamente y se almacenados dentro del modelo.

Cuanto mayor es el sumatorio del cuadrado de los residuos menor la precisión con la que el modelo puede predecir el valor de la variable dependiente a partir de la variable predictora. Los residuos son muy importantes puesto que en ellos se basan las diferentes medidas de la bondad de ajuste del modelo.

5.3 Interpolación segmentada.

INTERPOLACION LINEAL Y CUADRATICA

En el subcampo matemático del análisis numérico, se denomina interpolación a la obtención de nuevos puntos partiendo del conocimiento de un conjunto discreto de puntos.

En ingeniería y algunas ciencias es frecuente disponer de un cierto número de puntos obtenidos por muestreo o a partir de un experimento y pretender construir una función que los ajuste.

Otro problema estrechamente ligado con el de la interpolación es la aproximación de una función complicada por una más simple. Si tenemos una función cuyo cálculo resulta costoso, podemos partir de un cierto número de sus valores e interpolar dichos datos construyendo una función más simple. En general, por supuesto, no obtendremos los mismos valores evaluando la función obtenida que si evaluásemos la función original, si bien dependiendo de las características del problema y del método de interpolación usado la ganancia en eficiencia puede compensar el error cometido.

En todo caso, se trata de, a partir de n parejas de puntos (x_k,y_k), obtener una función f que verifique

$f(x_k) = y_k \mbox{ , } k=1,\ldots,n$

a la que se denomina función interpolante de dichos puntos. A los puntos x_k se les llama nodos. Algunas formas de interpolación que se utilizan con frecuencia son la interpolación lineal, lainterpolación polinómica (de la cual la anterior es un caso particular), la interpolación por medio de spline o la interpolación polinómica de Hermite.

Interpolación Lineal

La línea azul representa la interpolación lineal entre los puntos rojos.

Uno de los métodos de interpolación más sencillos es el lineal.

En general, en la interpolación lineal se utilizan dos puntos, (x_a,y_a) y (x_b,y_b), para obtener un tercer punto interpolado (x,y) a partir de la siguiente fórmula:

$y = y_a + (x-x_a)\frac{(y_b-y_a)}{(x_b-x_a)}$

La interpolación lineal es rápida y sencilla, pero no muy precisa.

Interpolación Segmentaria Cuadrática

En este caso, los polinomios P(x) a través de los que construimos el Spline tienen grado 2. Esto quiere decir, que va a tener la forma P(x) = ax² + bx + c

Como en la interpolación segmentaria lineal, vamos a tener N-1 ecuaciones (donde N son los puntos sobre los que se define la función). La interpolación cuadrática nos va a asegurar que la función que nosotros generemos a trozos con los distintos P(x) va a ser continua, ya que para sacar las condiciones que ajusten el polinomio, vamos a determinar como condiciones:

Que las partes de la función a trozos P(x) pasen por ese punto. Es decir, que las dos Pn(x) que rodean al f(x) que queremos aproximar, sean igual a f(x) en cada uno de estos puntos.

Que la derivada en un punto siempre coincida para ambos "lados" de la función definida a trozos que pasa por tal punto común.

Esto sin embargo no es suficiente, y necesitamos una condición más. ¿Por qué?. Tenemos 3 incógnitas por cada P(x). En un caso sencillo con f(x) definida en tres puntos y dos ecuaciones P(x) para aproximarla, vamos a tener seis incógnitas en total. Para resolver esto necesitaríamos seis ecuaciones, pero vamos a tener tan sólo cinco: cuatro que igualan el P(x) con el valor de f(x) en ese punto (dos por cada intervalo), y la quinta al igualar la derivada en el punto común a las dos P(x).

Se necesita una sexta ecuación,¿de dónde se extrae? Esto suele hacerse con el valor de la derivada en algún punto, al que se fuerza uno de los P(x).

5.2 Polinomio de interpolación de Lagrange.

Interpolacion de Lagrange

En análisis numérico, el polinomio de Lagrange, llamado así en honor a Joseph-Louis de Lagrange, es el polinomio que interpolaun conjunto de puntos dado en la forma de Lagrange. Fue descubierto por Edward Waring en 1779 y redescubierto más tarde por Leonhard Euler en 1783.

Dado que existe un único polinomio interpolador para un determinado conjunto de puntos, resulta algo confuso llamar a este polinomio el polinomio interpolador de Lagrange. Un nombre más conciso es interpolación polinómica en la forma de Lagrange.

Existen en todas las ramas de la ciencia, en la Física, en la Matemática, en la Química, en la Astronomía, en Biología, etc.. situaciones en las que conociendo un conjunto de datos experimentales en un cierto intervalo de la variable independiente, esto es, conociendo una cierta cantidad de datos tabulados, se hace preciso encontrar una función que verifique todos esos datos y permita, por consiguiente, predecir la existencia de otros valores con la aproximación adecuada. El problema de la interpolación es de gran importancia en el análisis numérico. En este artículo vemos muy brevemente una manera elemental de interpolación y la obtención de la conocida Fórmula Interpoladora de Lagrange.

Interpolacion y Polinomio de Interpolacion de Lagrange

Se trata de encontrar un polinomio de grado n que pase por los puntos (x0, f(x0)), (x1, f(x1)), ... (xn, f(xn)), se construye un cociente Ln,k(xk) con la propiedad de que

Ln,k(xi) = 0 cuando i ¹ k y Ln,k(xk) = 1

Se requiere entonces que el numerador contenga

(x – x0) (x – x1)... (x – xk–1)(x – xk+1)... (x – xn)

El denominador debe coincidir con el numerador cuando x = xk.

N-ésimo polinomio interpolante de Lagrange

Teorema

Si x0, x1, x2, ... xn, son n+1 números distintos y si f es una función cuyos valores están dados en esos números, entonces existe un polinomio de grado a lo más n, con la propiedad de que

f(xk) = P(xk) para cada k = 0, 1, 2, ...n

Este polinomio está dado por:

Donde

Aproximación a 1/x con interpolantesde Lagrange

Usaremos x0 = 2, x1 = 2.5 y x2 = 4, para obtener un polinomio de grado 2 para 1/x. f(x0) = 0.5, f(x1)= 0.4 y f(x2) = 0.25.

Los polinomios de Lagrange son:

P(x) = 0.5*((x–6.5)x+10)+0.4*((–4x+24)x–32)/3+ 0.25*((x + 4.5)x+5)/3

P(x) = (0.05x – 0.425)x + 1.15 = 0.05x2 – 0.425x + 1.15

f(3) = P(3) = 0.325

P(x) = (0.05x – 0.425)x + 1.15

f(3) = P(3) = 0.325

El error en la interpolación de Lagrange

El error en la interpolación de Lagrange puede calcularse con :

Algoritmo en Matlab Langre

function fi = Lagran_(x, f, xi)
fi=zeros(size(xi));
np1=length(f);

for i=1:np1

z=ones(size(xi));

for j=1:np1

if i~=j, z = z.*(xi - x(j))/(x(i)-x(j));end

end
fi=fi+z*f(i);
end return;

5.1 Polinomio de interpolación de Newton

POLINOMIOS DE INTERPOLACION DE NEWTON

Uno de estas formas de interpolación se denomina Polinomios de Interpolación de

Newton, que trabaja directamente en la tabla obtenida mediante el proceso de Diferencias Divididas; En el desarrollo de estas diferencias finitas, se obtuvo en primer lugar las diferencias finitas ordinarias y luego las diferencias finitas divididas.

Interpolación polinomial de Newton

Algunos casos: lineal, de segundo grado y de tercer grado.