STSCI 4740 Machine Learning and Data Mining_HW1_solutions Cornell University STSCI 4740
12 vues 0 fois vendu
Cours
STSCI 4740
Établissement
STSCI 4740
STSCI 4740 Machine Learning and Data Mining Fall
Dr. Yang Ning Homework 1
Problem 1 (6 points)
1. Express Var(X1 X2) through the variances and covariances of X1, X2 (assuming all
variances exist).
Answer:
Var(X1 X2) = E((X1 X2)
2) (E(X1 X2))2
= E(X2
1 ) 2E(X1X2) + E(X2
2 ) E(X...
2. Assume that X1 , ..., Xn are i.i.d. real-valued random variables with finite variances. Show
that
⇣1 X n ⌘ 1
Var Xi = Var(X1 ).
n n
i=1
Answer: From 1.1, we notice that if X1 and X2 are independent, then variance of the
sum of random variables is the sum of variance.
n
! n
!
1X 1 X
Var Xi = 2 Var Xi
n n
i=1 i=1
n
X
1
= Var (Xi ) (Xi ’s are independent)
n2
i=1
1
= · nVar (X1 ) (Xi ’s are identically distributed)
n2
1
= Var(X1 )
n
3. Assume that X, Y are independent random variables with E[X] = 0, E[Y ] = 1, Var(X) =
1, Var(Y ) = 2. Compute E[(3X + Y )(5Y + 2X 1)]
Answer:
, Y = f (X) + ",
where " is independent of X and E(") = 0, E("2 ) = 2 .Assume that the training data
(x1 ; y1 ), ..., (xn ; yn )are used to construct an estimate of f(x), denoted by fˆ(x). Given a new
random vector (X,Y ) (i.e., test data independent of the training data),
1. show that E[(f (X) fˆ(X))2 |X = x] = var(fˆ(x)) + [E[fˆ(x)] f (x)]2
Answer:
3. Explain the bias-variance trade-o↵ based on the above equation.
Answer: the total error= bias +variance+ irriducible error Our goal is to minimize the
total error to attain an accurate model. Howerver, there is a trade-o↵ between bias and
variance. Flexible models have low bias and high variance and relatively rigid models
have high bias and low variance. The model with the optimal predictive capability is the
one that leads to the best balance between bias and variance.
4. Explain the di↵erence between training MSE and test MSE. Can expected test MSE be
smaller than 2 ?
Answer: Training MSE is computed in the trainig data set and can reach 0 if we fit
the training data very well. Test MSE is computed with the test observations and fitted
model. Although some model performs well with respect to trainig MSE, it may not have
the same predictive ability in the test data. Our goal is to find the model which minimize
the expected test MSE.
As 2.2 shows, the expected test MSE is the sum of variance of preidictor, the squared
bias and 2 , so it can’t be smaller than 2
This study source was downloaded by 100000850872992 from CourseHero.com on 02-16-2023 08:49:35 GMT -06:00
Les clients de Stuvia ont évalués plus de 700 000 résumés. C'est comme ça que vous savez que vous achetez les meilleurs documents.
L’achat facile et rapide
Vous pouvez payer rapidement avec iDeal, carte de crédit ou Stuvia-crédit pour les résumés. Il n'y a pas d'adhésion nécessaire.
Focus sur l’essentiel
Vos camarades écrivent eux-mêmes les notes d’étude, c’est pourquoi les documents sont toujours fiables et à jour. Cela garantit que vous arrivez rapidement au coeur du matériel.
Foire aux questions
Qu'est-ce que j'obtiens en achetant ce document ?
Vous obtenez un PDF, disponible immédiatement après votre achat. Le document acheté est accessible à tout moment, n'importe où et indéfiniment via votre profil.
Garantie de remboursement : comment ça marche ?
Notre garantie de satisfaction garantit que vous trouverez toujours un document d'étude qui vous convient. Vous remplissez un formulaire et notre équipe du service client s'occupe du reste.
Auprès de qui est-ce que j'achète ce résumé ?
Stuvia est une place de marché. Alors, vous n'achetez donc pas ce document chez nous, mais auprès du vendeur Themanehoppe. Stuvia facilite les paiements au vendeur.
Est-ce que j'aurai un abonnement?
Non, vous n'achetez ce résumé que pour €7,81. Vous n'êtes lié à rien après votre achat.
