1
Download slides - Denis Parra
Document related concepts
no text concepts found
Transcript
DeepLearning enSistemas de Recomendación DenisParra IIC1005Sistemas Recomendadores PUCChile 2016 Enesta clase • Introducción alas redes neuronales artificiales • BasesBiológicas • Perceptron • FeedForward yBackPropagation • Algunos tipos dearquitecturas deredes neuronales • Aplicaciones enSistemas Recomendadores • YouTubeRecommendations • VideoRecommendations • Recomendación deProductos Referencias • Estas slidesfueron posibles graciasalmaterialque otros investigadores han compartido enlínea: • ArnoCandel http://www.slideshare.net/0xdata/deep-learningthrough-examples • AlexandrosKaratzoglou http://www.slideshare.net/kerveros99/deep-learningfor-recommender-systems-budapest-recsys-meetup • BalazsHidasi http://www.slideshare.net/balazshidasi/deep-learningto-the-rescue-solving-long-standing-problems-ofrecommender-systems Presentaciones elJueves • DeepNeuralNetworksforYouTube Recommendations(FelipedelRío) • ConvolutionalMatrixFactorizationforDocument Context-AwareRecommendation(Gabriel Sepulveda) • Paper3(LucasPose) ¿Por quéDeepLearning? ¿Por quéDeepLearning? ¿Por quéDeepLearning? BasesBiológicas:Neurona • Tipo decélulas delsistema nervioso cuya principal función es laexcitabilidad eléctrica desu membrana plasmática Redes Neuronales Artificiales • Considerar contexto:¿Cómo funciona elcerebro? Redes Neuronales Artificiales • 1943:McCulloh yPitts“ALogicalCalculusofthe IdeasImmanentinNervousActivity” Perceptron • 1957:FrankRosenblatt Perceptron • 1957:FrankRosenblatt Funciones deActivación • Step,tanh,sigmoid,ReLU Perceptron Limitaciones delPerceptron • Elperceptrondeuna capa es unclasificador lineal • Nopuede separar alguna funciones como elXOR PerceptronconHiddenlayers Redes Feedforward Multilayer Backpropagation Forwardvs.BackPropagation ¿Cómo actualizarlospesosW? Otras Arquitecturas yF(x)s • Dropout • RLUs • Autoencoders • CNN • RNN Dropout Nuevas RectifiedLinearUnits Autoencoders CNN CNN CNNparaFiltrado Colaborativo RNN QuestionAnsweringviaRNN Herramientas • Theano:PythonLibrary • TensorFlow:PythonLibrary • Keras:HighLevelPythonLibrary(Theano &TF) • MXNET:R,Python,Julia PapersenRecSys • AsktheGRU:Multi-taskLearningforDeepText Recommendations.Trapit Bansal,DavidBelanger, andAndrewMcCallum.2016 • Modelos defactores latentes para recomendadores:trabajos previos han usado topic modelsopromedios deloswordembeddings • Estepaperusa RNN(redes neuronales recurrentes) conGRUs(gatedrecurrentunits) AsktheGRU… AsktheGRU… • Citeulike-aconsistsof5551users,16980papersand3629 tagswithatotalof204,987user-itemlikes. • Citeulike-t[5]consistsof5219users,25975papersand 4222tagswithatotalof134,860user-itemlikes. • NoteCiteulike-tismuchmoresparse(99.90%)than Citeulike-a(99.78%). Paper2 • DeepNeuralNetworksforYouTube Recommendations.PaulCovington,JayAdams,and Emre Sargin.2016 • Presenta FelipedelRío este jueves Paper3 • Meta-Prod2Vec:ProductEmbeddings UsingSideInformationforRecommendation.Flavian Vasile, ElenaSmirnova,andAlexisConneau.2016. Meta-Prod2Vec • Basado enWord2Vec,donde lafunción objetivo del embeddingseacerca aShiftedPositivePMI(SPMI) • Función depérdida Meta-Prod2Vec Meta-Prod2Vec • Resultados Gracias!
