Así como cualquier inversión, la factibilidad de un proyecto de ciencia de datos ocurre cuando genera más valor que costos. Para esto se puede utilizar el índice ROI (Return of Investment)
¿Qué queda del valor generado después de los costos (se contabiliza el costo de los errores)?
Ejemplo:
Si hacemos que el Retorno=0 entonces:
0= valor -(1-accuracy)*Costo del error
accuracy= 1- (valor/Costo del error)
A esto se le conoce como Break Even Accuracy
Ejemplo: Si cada predicción ahorra 5 min de trabajo pero arreglar errores te cuesta 20 min el Break Even Accuracy sería: 1- (5/20) = 0.75 (75%)
Tu modelo debe tener al menos 75% de accuracy para que valga la pena usarlo
Ejercicio: Calcula el Break Even Accuracy
Ejercicio: Vendes playeras personalizadas en $120, las cuales te cuestan $100. Para venderlas inicias una campaña en Facebook Ads, en la cual te cobran $80 por click en el anuncio. Implementar un modelo para predecir quién sí te comprará las playeras te cuesta $20 por evaluación ¿Cúal sería la precisión mínima para que nuestro modelo sea rentable?
Ejercicio resuelto
Vendes playeras personalizadas en $120,
las cuales te cuestan $100. Gano por playera: $20.
Para venderlas inicias una campaña en Facebook Ads, en la cual te cobran $80 por click en el anuncio.
Implementar un modelo para predecir quién sí te comprará las playeras te cuesta $20 por evaluación
Costo de Face y modelo: $100.
Accuracy=1-(20/100)= 0.8 = 80%