Minimos Cuadrados
Minimos Cuadrados
y = ax
                        y
                                                                    y = a x
                                                   ε   i   = a xi − yi
                        yi
xi x
                                                                                  Página 1 de 12
   La suma de las distancia de cada punto del gráfico a la recta elevada al cuadrado,
que nos da una idea de cuan cerca esta la recta de los datos experimentales, llamada
desviación cuadrática de los puntos respecto a la recta, estará dada entonces por la
siguiente expresión:
        N       N
                                N 2          N              N 2
   E = ∑ ε i = ∑ (axi − yi ) =  ∑ xi  a 2 −  2∑ xi yi  a +  ∑ yi 
            2               2
i =1 i =1  i =1   i =1   i =1 
                                                                                              ∑x
                                                                                                       2
de concavidad positiva, ya que el coeficiente A, el que multiplica a a 2 , es                      i       > 0.
   dE (a )
           =0
    da
        dE (a ) N                       N           N        N             N
               = ∑ 2( y i − axi )xi = 2∑ xi y i − 2∑ axi = 2∑ xi y i − 2a ∑ xi
                                                        2                      2
   0=
         da      i =1                  i =1        i =1     i =1          i =1
                                                                                           Página 2 de 12
                                                   N
             N                          N          ∑x y    i           i
    0 = 2∑ x i y i − 2 a ∑ x i ⇔ a =
                                               2   i =1
                                                      N
            i =1                        i =1
                                                   ∑x
                                                    i =1
                                                               i
                                                                   2
          ∑x y     i           i
    a=     i =1
              N
           ∑x
                           2
                       i
            i =1
y = ax + b
                                   y
                                                                                     y = a x + b
                                                                           ε i = a xi + b − yi
                                   yi
xi x
                                                                                                   Página 3 de 12
    Ahora, la distancia de cada punto del gráfico a la recta tendrá la expresión
ε i = a xi − yi . Nuevamente calculemos la suma de las distancia de cada punto del
gráfico a la recta elevada al cuadrado, que nos da una idea de cuan cerca esta la recta de
los datos experimentales. La misma estará dada por la siguiente expresión:
        N          N                        N
   E = ∑ ε i = ∑ (axi + b − y i ) 2 = ∑ (a 2 xi + b 2 + y i − 2axi y i − 2by i + 2abxi ) =
               2                                       2                    2
i =1 i =1 i =1
          N 2          N        N              N
                                                                       N
                                                                                N 2
   = a 2  ∑ xi  + b 2  ∑ 1 + ab 2∑ xi  + a − 2∑ xi y i  + b − 2∑ y i  +  ∑ y i 
          i =1         i =1     i =1          i =1             i =1    i =1    
   En al caso anterior, cuando las rectas pasan por el origen, la función E dependía de
una sola variable, a, y encontrar el valor que la minimizaba fue una tarea sencilla. En
este caso la función E depende de dos variables, a y b, y debemos encontrar la pareja de
valores que la minimizan. El trabajo es un poco más complicado.
   Para un cierto valor dado del parámetro b, podemos pensar la función E como
función solo de a:
                   N 2           N            N
                                                       N             N       N
                                                                                   2
   f b (a ) = a 2  ∑ xi  + a − 2∑ xi y i + 2b∑ xi  +  b 2 ∑1 − 2b∑ y i + ∑ y i 
                   i =1         i =1         i =1   i =1         i =1    i =1  
                  N              N
                                                  N                      N
              − 2∑ xi y i + 2b∑ xi              ∑ xi y i − b∑ xi
       B
          = −                        =
                  i =1           i =1              i =1                   i =1
   a=−
       2A                N
                              2
                                                           N
                      2 ∑ xi                             ∑x
                                                                      2
                                                                  i
                        i =1                             i =1
   Por otro lado, para un cierto valor dado del parámetro a, podemos pensar la función
E como función solo de b:
                   N          N         N
                                                  N 2            N          N
                                                                                       
   f a (b ) = b 2  ∑ 1 + b 2a ∑ x i − 2∑ y i  +  ∑ y i + a 2 ∑ x i − 2a ∑ x i y i 
                                                                       2
 i =1   i =1 i =1   i =1 i =1 i =1 
                                                                                       Página 4 de 12
   Para dicho valor de a la función E (como función solamente de b) es nuevamente una
parábola de concavidad positiva, por lo que debemos elegir el valor de b para
minimizarla como:
              N              N
                                          N           N
              2 a ∑ x i − 2∑ y i  + − a ∑ x i + ∑ y i
       B      i =1          i =1        i =1        i =1
   b=−    =−                         =
       2A              N                      N
                     2 ∑ 1                   ∑    1
                       i =1                  i =1
         N                    N
                                  
        ∑  x i y i − b∑ x i 
   a = i =1 N               i =1
                                  
                                   N 2 N                         N
                                                                              N 2  N   N                      
                ∑                   ∑ i       ∑                ∑          a ∑ x i  + b ∑ x i  =  ∑ x i y i 
                           2
                     x i             a      x =       x  y
                                                          i i −  b      x i
                i =1                     i =1     i =1             i =1       i =1     i =1   i =1            
                                  ⇔ N                                   ⇔ N                                      
    
             N                N
                                     
                                                    N          N
                                                                                         N
                                                                                                      N
                                                                                                                     
         − a∑ xi + ∑ y i
                                     ∑
                                       b 1 = −a ∑ x i + ∑ y i
                                                                              ∑
                                                                                a x i  + b ∑ 1 =  ∑ y i 
                                                                                                                     
    b =
            i =1             i =1
                                   
                                         i =1      i =1       i =1             i =1   i =1   i =1               
                    N
    
                ∑i =1
                        1          
                                   
        N             N  N                          N  N 2   N                N 
     N  ∑ xi y i  −  ∑ y i  ∑ xi                    ∑ y i  ∑ xi  −  ∑ xi y i  ∑ xi 
   a=                 i =1  i =1                 b=        i =1     i =1      i =1 
         i =1                                              i =1
                                    2                                                    2
                N
                      2     N                                       N
                                                                           2     N
                                                                                       
          N  ∑ xi  −  ∑ xi                                   N  ∑ xi  −  ∑ xi 
               i =1     i =1                                     i =1    i =1 
   Otra manera más general de obtener el mismo resultado es pensar que E es una
función de dos variables, a y b, y lo que deseamos es obtener los valores de a y b que
minimizan dicha función. Para lograr dicho objetivo, debemos imponer la siguiente
condición de extremo:
    ∂ E (a,b )
    ∂a         =0
    
     ∂ E (a,b ) = 0
     ∂b
                                                                                             Página 5 de 12
       ∂ E (a,b )        N 2  N                       N
                                                                   
   0 =            = 2 a  ∑ x i  + b 2∑ x i  +  − 2 ∑ x i y i 
          ∂a             i =1    i =1                i =1    
   
   0 = ∂ E (a,b ) = 2b 1 + a 2 x  +  − 2 y 
                            N          N               N
          ∂b
                           ∑
                         i =1 
                                      ∑ i
                                     i =1  
                                                      ∑        i
                                                                 
                                                     i =1
        N             N  N 
     N  ∑ xi y i  −  ∑ y i  ∑ xi 
   a=                 i =1  i =1 
         i =1
                                    2
                N
                      2     N 
          N  ∑ xi  −  ∑ xi 
               i =1     i =1 
      N  N 2   N                N 
      ∑ y i  ∑ xi  −  ∑ xi y i  ∑ xi 
   b=        i =1     i =1      i =1 
       i =1
                                    2
                 N 2  N 
             N  ∑ xi  −  ∑ xi 
                 i =1    i =1 
                                                                           Página 6 de 12
   Aproximación por polinomios de grado m
y = a m x m + a m −1 x m −1 + ... + a1 x + a 0
  en donde los a j j = 0,1,..., m son los coeficientes del polinomio, o sea, los valores
que deseamos hallar.
y = a m x m + a m − 1 x m − 1 + ... + a1 x + a 0
                                             ε i = a m x m + a m − 1 x m − 1 + ... + a 1 x + a 0 − y i
           yi
xi x
                              (                                                    )
            N           N
    E = ∑ ε i =∑ a m xi + a m −1 xi
                  2                m           m −1                                2
                                                      + ... + a1 x i + a 0 − y i
           i =1        i =1
                                                                                                       Página 7 de 12
   En los casos anteriores, cuando teníamos rectas pasan por el origen, la función E
dependía de una sola variable, a, y encontrar el valor que la minimizaba fue una tarea
sencilla; luego, para rectas generales la función E dependía de dos variables, a y b, y
encontrar los valores que la minimizaba fue un poco más complicado. En este caso
general, la función E depende de m+1 variables a j j = 0,1,..., m y debemos encontrar el
conjunto de valores que la minimizan. El trabajo actual es un poco más complicado,
aunque es una simple generalización del procedimiento anterior al caso de m+1
variables. Para lograr dicho objetivo, debemos imponer la siguiente condición de
extremo:
    ∂ E (a m , a m −1 ,..., a1 , a 0 )
                                       =0
                 ∂a 0
   
    ∂ E (a m , a m −1 ,..., a1 , a 0 )
                                       =0
                ∂a1
   :
   
    ∂ E (a m , a m −1 ,..., a1 , a 0 )
                                       =0
                ∂a m
        ∂E
                       (                                         )
                 N
             = 2∑ a m xi + a m −1 xi + ... + a1 xi + a 0 − y i
                        m           m −1
   0=
        ∂a 0    i =1
        ∂E
                       (                                         )
                N
            = 2∑ a m xi + a m −1 xi + ... + a1 xi + a 0 − y i ( xi )
                       m           m −1
   0=
        ∂a1    i =1
   :
        ∂E
                       (                                         )
                  n
             = 2∑ a m xi + a m −1 xi + ... + a1 xi + a 0 − y i ( xi )
                        m           m −1                           j
   0=
        ∂a j    i =1
   :
        ∂E
                        (                                        )
                  n
             = 2∑ a m xi + a m −1 xi + ... + a1 xi + a 0 − y i ( xi )
                        m           m −1                           m
   0=
        ∂a m    i =1
                                                                         Página 8 de 12
       N                   N                                          N                                                     N                   N
   ∑ yi = a n ∑ xi + an−1 ⋅ ∑ xi                                                                 + ... + a1 ⋅ ∑ xi + a 0 ∑1
                                           m                                          m −1
   i =1                   i =1                                        i =1                                                  i =1              i =1
       N                          N                                               N                                         N                      N
   ∑y x                = a m ∑ xi                       + a m−1 ∑ xi + ... + a1 ∑ xi + a 0 ∑ xi
                                                m +1                                          m                                     2
           i   i
   i =1                          i =1                                             i =1                                      i =1                i =1
   :
       N                              N                                               N                                              N                     N
   ∑ y i xi = a m ∑ xi                                     + a m−1 ∑ xi                                            + ... + a1 ∑ xi                   + a 0 ∑ xi
                   j                             m+ j                                               m −1+ j                                 1+ j                   j
i =1 i =1 i =1 i =1 i =1
   :
       N                               N                                                 N                                              N                    N
   ∑y x                 = a m ∑ xi                            + a m −1 ∑ xi                                        + ... + a1 ∑ xi                     + a 0 ∑ xi
                   m                             m+ j                                               m −1+ m                                  1+ m                      m
           i   i
   i =1                               i =1                                            i =1                                           i =1                   i =1
O, para ganar claridad pueden ser escritas en forma matricial de la siguiente manera.
    N 0                     N                             N                                               N
                                                                                                                                   N            0
    ∑ xi                 ∑x                            ∑x                                                 ∑x                       ∑ y i xi 
                                            1                             2                                             m
                                        i                             i                   L                         i
    i =N1                 i =1
                            N
                                                         i =1
                                                           n
                                                                                                        i =1
                                                                                                        N              a 0   i =N1              
    x1                                                                                                         m +1                            1 
   ∑                    ∑x                             ∑x                                            ∑                a1   ∑
                                            2                             3
                                                                                          L                  xi                          y i xi
      i =1
           i
                          i =1
                                       i
                                                         i =1
                                                                      i
                                                                                                      i =1                            i =1
                                                                                                                                                    
    N 2                   N                              N                                            N              ⊗  a    =    N            
    ∑ xi                 ∑x                            ∑x                                            ∑
                                                                                                                m+ 2
                                                                                                                                     ∑ i i 
                                            3                             4                                                  2                    2
                                       i                              i                   L                 x i                        y   x
    i =1                 i =1                           i =1                                         i =1             M   i =1
    M                            M                             M                         O                  M  a                      M        
   N m                                                                                                                  m  N
                                                                                                                                                 m
                         N                             N                                                N
   ∑ xi                 ∑x                        ∑x                                                 ∑                            ∑ y i xi 
                                       m +1                           m+2                                       2m
                                   i                              i                       L                  xi 
    i =1                i =1                          i =1                                            i =1                        i =1           
                  N 0                                        N                                  N                                   N
                                                                                                                                                     N            0
                  ∑ xi                                    ∑ xi                               ∑ xi                                  ∑ xi             ∑ y i xi 
                                                                              1                                2                            m
                                                                                                                        L
    a0          i =N1                                   i =1
                                                            N
                                                                                               i =1
                                                                                                 n
                                                                                                                                     i =1
                                                                                                                                     N               i =N1          
                  x1                                                                                                                         m +1     y x1
                 ∑                                      ∑x                                   ∑x                                   ∑                ∑
   a                                                                        2                                3
                                                                                                                        L                 x
     1
                    i =1
                         i
                                                           i =1
                                                                          i
                                                                                               i =1
                                                                                                           i
                                                                                                                                   i =1
                                                                                                                                            i
                                                                                                                                                         i =1
                                                                                                                                                                i i
                                                                                                                                                                      
    a 2  = Inv  N 2                                       N                                  N                                   N               ⊗   N           
                ∑ xi                                  ∑x               i
                                                                              3
                                                                                              ∑x           i
                                                                                                               4
                                                                                                                        L          ∑     xi   ∑ y i xi 
                                                                                                                                              m+ 2                  2
    M           i =1                                    i =1                                i =1                                i =1              i =1           
   a m        M                                              M                                   M                 O                 M                 M       
                 N m                                    N                                   N                                       N
                                                                                                                                              2m      N          m
                 ∑ xi                                 ∑x                                    ∑x                                    ∑      xi  ∑ y i xi 
                                                                          m +1                             m+ 2
                                                                      i                                i                L
                  i =1                                 i =1                                 i =1                                   i =1             i =1           
                                                                                                                                                                           Página 9 de 12
   Aproximación por familias arbitrarias de funciones
   En caso general, uno puede tener una familia de funciones f que dependen de varios
parámetros α 1 , α 2 ,..., α m reales:
    fα
      1 ,α 2 ,...,α m
                        (x )
  y desea encontrar entre dicha familia de funciones la que mejor aproxima los datos
experimentales.
   El método de mínimos cuadrados es aplicable en dicha situación. Para ello uno debe
considerar las distancias ε i = f ( xi ) − yi de los puntos experimentales a la curva de
ajuste. Nuevamente consideramos la suma de todas las distancias elevadas al cuadrado:
            N                  N
   E = ∑ ε i =∑ ( f (xi ) − y i )
                        2             2
i =1 i =1
   La que resulta una función de los parámetros α 1 , α 2 ,..., α m , ya que para cada
conjunto de parámetros obtenemos una función f y por ende un conjunto de distancias
ε i . Entonces E resulta ser una función de los parámetros α1 ,α 2 ,...,α m o sea
E (α 1 , α 2 ,..., α m ) .
    ∂E (α 1 , α 2 ,..., α m )
                              =0
              ∂α 1
   
    :
     ∂E (α , α ,..., α )
          1     2         m
                               =0
           ∂α m
                                                                                  Página 10 de 12
  La dificultad radica en que generalmente el sistema anterior es un sistema muy
complicado de resolver, por lo general no lineal. Afortunadamente disponemos de
muchos métodos numéricos para obtener una solución aproximada del mismo.
   Hay situaciones en las que no todos los datos tienen la misma importancia en el
cálculo de E. Un ejemplo es cuando hay más incertidumbre asociada a una medición
que a las demás. En ese caso uno puede desear que dicha medición tenga menos
importancia en el momento de aproximar los datos por rectas o curvas que las restantes.
Un posible procedimiento a seguir es el siguiente.
         N
   E = ∑ ε i wi
                    2
i =1
Como ejemplo, para el caso de las rectas del tipo forma y = ax obtenemos
        ∑w x y
        i =1
                i       i           i
   a=      N
        ∑w x
                                2
                    i       i
         i =1
                                                                                         Página 11 de 12
                                                                              N
(cabe observar que el factor N en las fórmulas anteriores provenía de hacer N = ∑1 y
                                                                              i =1
                                              N
en los nuevos cálculos se transforma en ∑ wi )
                                             i =1
        N      N            N           N       
        ∑ wi  ∑ wi xi y i  −  ∑ wi y i  ∑ wi xi 
   a =  i 1  i 1            i =1        i =1    
          =       =
                                                    2
             N      N        2     N         
             ∑ wi  ∑ wi xi  −  ∑ wi xi 
             i =1  i =1          i =1        
      N         N        2  N            N       
      ∑ wi y i  ∑ wi xi  −  ∑ wi xi y i  ∑ wi xi 
   b=i1         i =1        i =1         i =1    
       =
                                                  2
              N
                        N
                               2      N
                                                
            ∑ wi  ∑ wi xi  −  ∑ wi xi 
            i =1  i =1         i =1        
Página 12 de 12