logo资料库

Reinforcement Learning or Evolutionary Strategies.pdf

第1页 / 共7页
第2页 / 共7页
第3页 / 共7页
第4页 / 共7页
第5页 / 共7页
第6页 / 共7页
第7页 / 共7页
资料共7页,全文预览结束
Recommended by Daniel Jeffries and 19 others Arthur Juliani Deep Learning @Unity3D & Cognitive Neuroscience PhD student. Apr 19 · 8 min read R e i n f o r c e m e n t L e a r n i n g o r E v o l u t i o n a r y S t r a t e g i e s ? N a t u r e h a s a s o l u t i o n : B o t h . A f e w w e e k s a g o O p e n A I m a d e a s p l a s h i n t h e D e e p L e a r n i n g c o m m u n i t y w i t h t h e r e l e a s e o f t h e i r p a p e r “ E v o l u t i o n S t r a t e g i e s a s a S c a l a b l e A l t e r n a t i v e t o R e i n f o r c e m e n t L e a r n i n g . ” T h e w o r k c o n t a i n s i m p r e s s i v e r e s u l t s s u g g e s t i n g t h a t l o o k i n g e l s e w h e r e t h a n R e i n f o r c e m e n t L e a r n i n g ( R L ) m e t h o d s m a y b e w o r t h w h i l e w h e n t r a i n i n g c o m p l e x n e u r a l n e t w o r k s . I t s p a r k e d a d e b a t e a r o u n d t h e i m p o r t a n c e o f R e i n f o r c e m e n t L e a r n i n g , a n d p e r h a p s i t ’ s l e s s t h a n n e c e s s a r y s t a t u s a s t h e g o - t o t e c h n i q u e f o r l e a r n i n g t o s o l v e t a s k s . W h a t I w a n t t o a r g u e h e r e i s t h a t i n s t e a d o f b e i n g s e e n a s t w o c o m p e t i n g s t r a t e g i e s , o n e o f w h i c h b e i n g n e c e s s a r i l y b e t t e r t h a n t h e o t h e r , t h e y a r e u l t i m a t e l y c o m p l e m e n t a r y . I n d e e d , i f w e t h i n k a l i t t l e b i t f o r w a r d t o t h e g o a l o f A r t i fi c i a l G e n e r a l I n t e l l i g e n c e ( A G I ) , a n d s y s t e m s t h a t c a n t r u l y p e r f o r m l i f e l o n g l e a r n i n g , r e a s o n i n g , a n d p l a n n i n g , w h a t w e fi n d i s t h a t a c o m b i n e d s o l u t i o n i s a l m o s t c e r t a i n l y g o i n g t o b e n e c e s s a r y . A n d i n d e e d , i t i s j u s t t h i s s o l u t i o n t h a t n a t u r e a r r i v e d a t f o r e n d o w i n g m a m m a l s a n d o t h e r c o m p l e x a n i m a l l i f e w i t h i n t e l l i g e n c e . A b e a r l e a r n i n g t o h u n t f o r s h w i t h i t ’ s   p a r e n t .
E v o l u t i o n a r y S t r a t e g i e s T h e b a s i c p r e m i s e o f t h e O p e n A I p a p e r w a s t h a t i n s t e a d o f u s i n g R e i n f o r c e m e n t L e a r n i n g c o u p l e d w i t h t r a d i t i o n a l g r a d i e n t b a c k p r o p a g a t i o n , t h e y s u c c e s s f u l l y t r a i n e d n e u r a l n e t w o r k s t o p e r f o r m d i ffi c u l t t a s k s u s i n g w h a t t h e y c a l l e d E v o l u t i o n a r y S t r a t e g y ( E S ) . T h i s E S a p p r o a c h c o n s i s t s o f m a i n t a i n i n g a d i s t r i b u t i o n o v e r n e t w o r k w e i g h t v a l u e s , a n d h a v i n g a l a r g e n u m b e r o f a g e n t s a c t i n p a r a l l e l u s i n g p a r a m e t e r s s a m p l e d f r o m t h i s d i s t r i b u t i o n . E a c h a g e n t a c t s i n i t s o w n e n v i r o n m e n t , a n d o n c e i t fi n i s h e s a s e t n u m b e r o f e p i s o d e s , o r s t e p s o f a n e p i s o d e , c u m u l a t i v e r e w a r d i s r e t u r n e d t o t h e a l g o r i t h m a s a fi t n e s s s c o r e . W i t h t h i s s c o r e , t h e p a r a m e t e r d i s t r i b u t i o n c a n b e m o v e d t o w a r d t h a t o f t h e m o r e s u c c e s s f u l a g e n t s , a n d a w a y f r o m t h a t o f t h e u n s u c c e s s f u l o n e s . B y r e p e a t i n g t h i s a p p r o a c h m i l l i o n s o f t i m e s , w i t h h u n d r e d s o f a g e n t s , t h e w e i g h t d i s t r i b u t i o n m o v e s t o a s p a c e t h a t p r o v i d e s t h e a g e n t s w i t h a g o o d p o l i c y f o r s o l v i n g t h e t a s k a t h a n d . I n d e e d , t h e m o s t i m p r e s s i v e r e s u l t f r o m t h e p a p e r s h o w s t h a t w i t h a t h o u s a n d w o r k e r s i n p a r a l l e l , h u m a n o i d w a l k i n g c a n b e l e a r n e d i n u n d e r h a l f a n h o u r ( s o m e t h i n g t h a t i t t a k e s e v e n t h e b e s t t r a d i t i o n a l R L m e t h o d s h o u r s t o s o l v e ) . F o r m o r e i n s i g h t , I s u g g e s t r e a d i n g t h e i r g r e a t b l o g p o s t , a s w e l l a s t h e p a p e r i t s e l f . T h e B l a c k   B o x T h e g r e a t b e n e fi t o f t h i s a p p r o a c h i s t h a t i t i s p a r a l l e l i z a b l e w i t h l i t t l e e ff o r t . W h e r e a s R L m e t h o d s s u c h a s A 3 C n e e d t o c o m m u n i c a t e g r a d i e n t s b a c k a n d f o r t h b e t w e e n w o r k e r s a n d a p a r a m e t e r s e r v e r , E S o n l y r e q u i r e s fi t n e s s s c o r e s a n d h i g h - l e v e l p a r a m e t e r d i s t r i b u t i o n i n f o r m a t i o n t o b e c o m m u n i c a t e d . I t i s t h i s s i m p l i c i t y t h a t a l l o w s t h e t e c h n i q u e t o s c a l e u p i n w a y s c u r r e n t R L m e t h o d s c a n n o t . A l l o f t h i s c o m e s a t a c o s t h o w e v e r : t h e c o s t o f t r e a t i n g t h e n e t w o r k b e i n g o p t i m i z e d a s a b l a c k - b o x . B y b l a c k - b o x , I m e a n t h a t t h e i n n e r w o r k i n g s o f t h e n e t w o r k a r e i g n o r e d i n t h e t r a i n i n g p r o c e s s , a n d o n l y t h e o v e r a l l o u t c o m e ( e p i s o d e - l e v e l r e w a r d ) i s u t i l i z e d i n d e t e r m i n i n g w h e t h e r t o p r o p a g a t e t h e s p e c i fi c n e t w o r k w e i g h t s t o f u r t h e r g e n e r a t i o n s . I n s i t u a t i o n s w h e r e w e d o n ’ t g e t a s t r o n g f e e d b a c k s i g n a l D i e r e n t h u m a n o i d w a l k i n g s t r a t e g i e s l e a r n e d b y O p e n A I ’ s E S   m e t h o d .
f r o m t h e e n v i r o n m e n t , s u c h a s m a n y t r a d i t i o n a l l y p o s e d R L p r o b l e m s w i t h o n l y s p a r s e r e w a r d s , t u r n i n g t h e p r o b l e m f r o m a “ m o s t l y b l a c k b o x ” i n t o a n “ e n t i r e l y b l a c k b o x ” i s w o r t h t h e p e r f o r m a n c e i m p r o v e m e n t s t h a t c a n c o m e a l o n g w i t h i t . “ W h o n e e d s g r a d i e n t s w h e n t h e y a r e h o p e l e s s l y n o i s y a n y w a y s ? ” S o t h e t h i n k i n g g o e s . I n s i t u a t i o n s w i t h r i c h e r f e e d b a c k s i g n a l s h o w e v e r , t h i n g s d o n ’ t g o s o w e l l f o r E S . O p e n A I d e s c r i b e s t r a i n i n g a s i m p l e M N I S T c l a s s i fi c a t i o n n e t w o r k u s i n g E S , a n d i t b e i n g “ 1 0 0 0 t i m e s s l o w e r . ” T h i s c o m e s f r o m t h e f a c t t h a t t h e g r a d i e n t s i g n a l i n i m a g e c l a s s i fi c a t i o n i s e x t r e m e l y i n f o r m a t i v e i n r e g a r d s t o h o w t o i m p r o v e t h e n e t w o r k t o b e t t e r c l a s s i f y . T h e p r o b l e m t h e n i s l e s s t o d o w i t h R e i n f o r c e m e n t L e a r n i n g , a n d m o r e t o d o w i t h s p a r s e r e w a r d s i n t h e e n v i r o n m e n t p r o v i d i n g n o i s y g r a d i e n t s . N a t u r e ’ s S o l u t i o n A p p e a l i n g t o n a t u r e f o r i n s p i r a t i o n i n A I c a n s o m e t i m e s b e s e e n a s a p r o b l e m a t i c a p p r o a c h . N a t u r e , a f t e r a l l , i s w o r k i n g u n d e r c o n s t r a i n t s t h a t c o m p u t e r s c i e n t i s t s s i m p l y d o n ’ t h a v e . I t i s o f t e n b e l i e v e d t h a t a p u r e l y t h e o r e t i c a l a p p r o a c h t o a g i v e n p r o b l e m c a n p r o v i d e m o r e e ffi c i e n t s o l u t i o n s t h a n e m p i r i c a l a p p r o a c h e s . D e s p i t e t h i s , I t h i n k i t c a n s t i l l b e b e w o r t h w h i l e t o e x a m i n e h o w a d y n a m i c s y s t e m u n d e r c e r t a i n c o n s t r a i n t s ( e a r t h ) c a n a r r i v e a t a g e n t s ( a n i m a l s , s p e c i fi c a l l y m a m m a l s ) w i t h fl e x i b l e a n d c o m p l e x b e h a v i o r . W h i l e s o m e o f t h o s e c o n s t r a i n t s d o n ’ t h o l d i n s i m u l a t e d w o r l d s o f d a t a , m a n y o f t h e m s t i l l d o . I f w e l o o k a t i n t e l l i g e n t b e h a v i o r i n m a m m a l s , w e fi n d t h a t i t c o m e s f r o m a c o m p l e x i n t e r p l a y o f t w o u l t i m a t e l y i n t e r t w i n e d p r o c e s s e s , i n t e r - l i f e l e a r n i n g , a n d i n t r a - l i f e l e a r n i n g . T h e fi r s t i s w h a t i s t y p i c a l l y t h o u g h t o f a s e v o l u t i o n v i a n a t u r a l s e l e c t i o n , b u t I u s e a b r o a d e r t e r m t o i n c l u d e t h i n g s l i k e e p i g e n e t i c s , m i c r o b i o m e s , e t c , w h i c h a r e p a s s e d b e t w e e n a n i m a l s n o t d i r e c t l y r e l a t e d t o t h e i r g e n e t i c m a t e r i a l p e r - s e . T h e s e c o n d , i n t r a - l i f e l e a r n i n g i s a l l o f t h e l e a r n i n g t h a t t a k e s p l a c e d u r i n g t h e l i f e t i m e o f a n a n i m a l , a n d i s c o n d i t i o n e d e x p l i c i t l y o n t h a t a n i m a l ’ s i n t e r a c t i o n i n t h e w o r l d . T h i s i s a l s o r e f e r r e d t o a s e x p e r i e n c e - d e p e n d e n t l e a r n i n g . T h i s c a t e g o r y i n c l u d e s e v e r y t h i n g f r o m l e a r n i n g t o r e c o g n i z e o b j e c t s v i s u a l l y t o l e a r n i n g t o c o m m u n i c a t e w i t h l e a r n i n g , t o l e a r n i n g t h a t N a p o l e o n w a s c o r o n a t e d o n S u n d a y , D e c e m b e r 2 , 1 8 0 4 . R o u g h l y s p e a k i n g t h e s e t w o a p p r o a c h e s i n n a t u r e c a n b e c o m p a r e d t o t h e t w o i n n e u r a l n e t w o r k o p t i m i z a t i o n . E v o l u t i o n a r y S t r a t e g i e s , f o r w h i c h n o g r a d i e n t i n f o r m a t i o n i s u s e d t o u p d a t e t h e o r g a n i s m , i s
smart monkey r e l a t e d t o i n t e r - l i f e l e a r n i n g . L i k e w i s e , t h e g r a d i e n t b a s e d m e t h o d s , f o r w h i c h s p e c i fi c e x p e r i e n c e s c h a n g e t h e a g e n t i n s p e c i fi c w a y s , c a n b e c o m p a r e d t o i n t r a - l i f e l e a r n i n g . I f w e t h i n k a b o u t t h e k i n d s o f i n t e l l i g e n t b e h a v i o r s o r c a p a c i t i e s t h a t e a c h o f t h e s e t w o a p p r o a c h e s e n a b l e i n a n i m a l s , w e fi n d t h a t t h e c o m p a r i s o n b e c o m e s m o r e i n t e l l i g i b l e . I n b o t h c a s e s , t h e “ e v o l u t i o n a r y m e t h o d s ” e n a b l e t h e l e a r n i n g o f r e a c t i v e b e h a v i o r s t h a t a c h i e v e a c e r t a i n l e v e l o f fi t n e s s ( e n o u g h t o s t a y a l i v e ) . L e a r n i n g t o w a l k o r p l a y b r e a k o u t a r e i n m a n y w a y s e q u i v a l e n t t o m o r e “ i n s t i n c t u a l ” b e h a v i o r s t h a t c o m e g e n e t i c a l l y h a r d - w i r e d f o r m a n y a n i m a l s . I t i s a l s o t h e c a s e t h a t e v o l u t i o n a r y m e t h o d s a l l o w f o r d e a l i n g w i t h e x t r e m e l y s p a r s e r e w a r d s i g n a l s s u c h a s t h e s u c c e s s f u l r e a r i n g o f o ff s p r i n g . I n a c a s e l i k e t h a t , i t i s i m p o s s i b l e t o a s s i g n c r e d i t f o r s u c c e s s f u l c h i l d b e a r i n g t o a n y s p e c i fi c s e t o f a c t i o n s t h a t m a y h a v e t a k e n p l a c e y e a r s e a r l i e r . O n t h e o t h e r h a n d , i f w e l o o k a t t h e f a i l u r e c a s e o f E S , i m a g e c l a s s i fi c a t i o n , w e fi n d s o m e t h i n g r e m a r k a b l y c o m p a r a b l e t o t h e k i n d o f l e a r n i n g w h i c h a n i m a l s h a v e a c c o m p l i s h e d i n c o u n t l e s s b e h a v i o r a l p s y c h o l o g y e x p e r i m e n t s o v e r t h e p a s t 1 0 0 p l u s y e a r s . L e a r n i n g I n   A n i m a l s T h e t e c h n i q u e s e m p l o y e d i n R e i n f o r c e m e n t L e a r n i n g a r e i n m a n y w a y s i n s p i r e d d i r e c t l y b y t h e p s y c h o l o g i c a l l i t e r a t u r e o n o p e r a n t c o n d i t i o n i n g t o c o m e o u t o f a n i m a l p s y c h o l o g y . ( I n f a c t , R i c h a r d S u t t o n , o n e o f t h e t w o f o u n d e r s o f R e i n f o r c e m e n t L e a r n i n g a c t u a l l y r e c e i v e d h i s B a c h e l o r ’ s d e g r e e i n P s y c h o l o g y ) . I n o p e r a n t c o n d i t i o n i n g a n i m a l s l e a r n t o a s s o c i a t e r e w a r d i n g o r p u n i s h i n g o u t c o m e s w i t h O p e r a n t C o n d i t i o n i n g u s e d t o t e a c h a c h i m p a n z e e t o s o l v e a c o m p l e x v i s u a l m e m o r y t a s k .
s p e c i fi c b e h a v i o r p a t t e r n s . A n i m a l t r a i n e r s a n d r e s e a r c h e r s c a n m a n i p u l a t e t h i s r e w a r d a s s o c i a t i o n i n o r d e r t o g e t a n i m a l s t o d e m o n s t r a t e t h e i r i n t e l l i g e n c e o r b e h a v e i n c e r t a i n w a y s . O p e r a n t c o n d i t i o n i n g a p p l i e d i n a n i m a l r e s e a r c h h o w e v e r i s n o t h i n g m o r e t h a n a m o r e e x p l i c i t f o r m o f t h e c o n d i t i o n i n g w h i c h g u i d e s l e a r n i n g f o r a l l m a m m a l s d u r i n g t h e i r l i f e t i m e s . W e a r e c o n s t a n t l y r e c e i v i n g r e w a r d i n f o r m a t i o n f r o m t h e e n v i r o n m e n t a n d a d j u s t i n g o u r b e h a v i o r s a c c o r d i n g l y . I n d e e d , m a n y n e u r o s c i e n t i s t s a n d c o g n i t i v e s c i e n t i s t s b e l i e v e t h a t h u m a n s a n d o t h e r m a m m a l s g o a s t e p f u r t h e r a n d c o n s t a n t l y l e a r n t o p r e d i c t t h e o u t c o m e s o f t h e i r b e h a v i o r s o n f u t u r e r e w a r d s a n d s i t u a t i o n s . T h e c e n t r a l r o l e o f p r e d i c t i o n i n i n t r a - l i f e l e a r n i n g c h a n g e s t h e d y n a m i c s q u i t e a b i t . W h a t w a s b e f o r e a s o m e w h a t s p a r s e s i g n a l ( o c c a s i o n a l r e w a r d ) , b e c o m e s a n e x t r e m e l y d e n s e s i g n a l . T h e t h e o r y g o e s s o m e t h i n g l i k e t h i s : a t e a c h m o m e n t m a m m a l i a n b r a i n s a r e p r e d i c t i n g t h e r e s u l t s o f t h e c o m p l e x fl u x o f s e n s o r y s t i m u l i a n d a c t i o n s w h i c h t h e a n i m a l i s i m m e r s e d i n . T h e o u t c o m e o f t h e a n i m a l s b e h a v i o r t h e n p r o v i d e s a d e n s e s i g n a l t o g u i d e t h e c h a n g e i n p r e d i c t i o n s a n d b e h a v i o r g o i n g f o r w a r d . A l l o f t h e s e s i g n a l s a r e p u t t o u s e i n t h e b r a i n i n o r d e r t o i m p r o v e p r e d i c t i o n s ( a n d c o n s e q u e n t l y t h e q u a l i t y o f a c t i o n s ) g o i n g f o r w a r d . F o r a n o v e r v i e w o f t h i s a p p r o a c h , s e e t h e e x c e l l e n t “ S u r fi n g U n c e r t a i n t y ” b y C o g n i t i v e S c i e n t i s t a n d P h i l o s o p h e r A n d y C l a r k . I f w e a p p l y t h i s w a y o f t h i n k i n g t o l e a r n i n g i n a r t i fi c i a l a g e n t s , w e fi n d t h a t R L i s n ’ t s o m e h o w f u n d a m e n t a l l y fl a w e d , r a t h e r i t i s t h a t t h e s i g n a l b e i n g u s e d i s n ’ t n e a r l y a s r i c h a s i t c o u l d ( o r s h o u l d ) b e . I n c a s e s w h e r e t h e s i g n a l c a n ’ t b e m a d e m o r e r i c h , ( p e r h a p s b e c a u s e i t i s i n h e r e n t l y s p a r s e , o r t o d o w i t h l o w - l e v e l r e a c t i v i t y ) i t i s l i k e l y t h e c a s e t h a t l e a r n i n g t h r o u g h a h i g h l y p a r a l l e l i z a b l e m e t h o d s u c h a s E S i s i n s t e a d b e s t . R i c h e r L e a r n i n g I n N e u r a l   N e t w o r k s T a k i n g i n s i g h t f r o m t h e c o n s t a n t l y - p r e d i c t i n g n e u r a l s y s t e m s i n m a m m a l i a n b r a i n s , t h e r e h a v e b e e n s o m e a d v a n c e s i n R e i n f o r c e m e n t L e a r n i n g i n t h e p a s t y e a r w h i c h i n c o r p o r a t e t h e r o l e o f p r e d i c t i o n . T w o i n p a r t i c u l a r t h a t c o m e t o m i n d a r e : L e a r n i n g t o A c t B y P r e d i c t i n g t h e F u t u r e R e i n f o r c e m e n t L e a r n i n g w i t h U n s u p e r v i s e d A u x i l i a r y T a s k s I n b o t h o f t h e s e p a p e r s t h e a u t h o r s a u g m e n t t h e i r n e t w o r k ’ s t y p i c a l p o l i c y o u t p u t s w i t h p r e d i c t i o n s r e g a r d i n g t h e f u t u r e s t a t e o f t h e e n v i r o n m e n t . I n t h e c a s e o f “ L e a r n i n g t o A c t ” t h i s i s i n r e g a r d t o a s e t • •
o f m e a s u r e m e n t s v a r i a b l e s , a n d i n t h e c a s e o f “ U n s u p e r v i s e d A u x i l i a r y T a s k s ” t h i s i s i n r e g a r d t o p r e d i c t i n g c h a n g e s i n t h e e n v i r o n m e n t a n d t h e a g e n t i t s e l f . I n b o t h c a s e s t h e s p a r s e r e w a r d s i g n a l b e c o m e s a m u c h r i c h e r a n d i n f o r m a t i v e s i g n a l c a p a b l e o f e n a b l i n g b o t h q u i c k e r l e a r n i n g a s w e l l a s l e a r n i n g o f m o r e c o m p l e x b e h a v i o r s . T h e s e k i n d s o f e n h a n c e m e n t s a r e o n l y a v a i l a b l e t o m e t h o d s w h i c h u t i l i z e a g r a d i e n t s i g n a l , a s o p p o s e d t o b l a c k - b o x m e t h o d s l i k e E S . I n t r a - l i f e l e a r n i n g / g r a d i e n t - b a s e d m e t h o d s a r e a l s o m u c h m o r e e ffi c i e n t . E v e n i n t h e c a s e s w h e r e t h e E S m e t h o d l e a r n e d a t a s k m u c h q u i c k e r t h a n t h e R L m e t h o d , i t d i d s o a t t h e c o s t o f u s i n g m u l t i p l e t i m e s m o r e d a t a t o d o s o . W h e n t h i n k i n g a b o u t a n i m a l - l e v e l l e a r n i n g , i n t e r - l i f e l e a r n i n g r e q u i r e s g e n e r a t i o n s o f l i f e t o p r o d u c e c h a n g e s , w h e r e a s a s i n g l e e v e n t c a n c h a n g e t h e b e h a v i o r o f a n a n i m a l w h e n i t t a k e s p l a c e t h r o u g h i n t r a - l i f e l e a r n i n g . W h i l e t h i s k i n d o f o n e - s h o t l e a r n i n g i s n o t e n t i r e l y y e t w i t h i n t h e g r a s p o f t r a d i t i o n a l g r a d i e n t - b a s e d m e t h o d s , i t i s m u c h c l o s e r t h a n E S . F o r e x a m p l e , a p p r o a c h e s l i k e N e u r a l E p i s o d i c C o n t r o l , w h i c h s t o r e Q - v a l u e s d u r i n g l e a r n i n g a n d q u e r y t h e m w h e n t a k i n g a c t i o n s a l l o w s a g r a d i e n t - b a s e d m e t h o d t o l e a r n t o s o l v e t a s k s m u c h q u i c k e r t h a n b e f o r e . I n t h a t p a p e r t h e a u t h o r s p o i n t t o t h e h u m a n h i p p o c a m p u s , w h i c h i s a b l e t o s t o r e e v e n t s e v e n a f t e r a s i n g l e e x p o s u r e , a n d c o n s e q u e n t l y p l a y s a c r i t i c a l r o l e i n t h e i r l a t e r r e c a l l . S u c h m e c h a n i s m s r e q u i r e a c c e s s t o t h e i n t e r n a l s o f t h e a g e n t , a n d a s s u c h a r e a l s o i m p o s s i b l e f o r E S . S o , W h y N o t   B o t h ? W h i l e m u c h o f t h i s a r t i c l e p e r h a p s s o u n d s l i k e a c h a m p i o n i n g o f R L m e t h o d s , I u l t i m a t e l y t h i n k t h a t t h e b e s t s o l u t i o n i n t h e l o n g - t e r m w i l l i n v o l v e a c o m b i n a t i o n o f b o t h m e t h o d s , e a c h u s e d f o r w h a t t h e y a r e b e s t a t . I t i s c l e a r t h a t f o r m a n y r e a c t i v e p o l i c i e s , o r s i t u a t i o n s w i t h e x t r e m e l y s p a r s e r e w a r d s , E S i s a s t r o n g c a n d i d a t e , e s p e c i a l l y i f y o u h a v e a c c e s s t o t h e c o m p u t a t i o n a l r e s o u r c e s t h a t a l l o w f o r m a s s i v e l y p a r a l l e l t r a i n i n g . O n t h e o t h e r h a n d , g r a d i e n t - b a s e d m e t h o d s u s i n g R L o r s u p e r v i s i o n a r e g o i n g t o b e u s e f u l w h e n a r i c h f e e d b a c k s i g n a l i s a v a i l a b l e , a n d w e n e e d t o l e a r n q u i c k l y w i t h l e s s d a t a . I f w e l o o k t o n a t u r e , w e fi n d t h a t t h e f o r m e r a c t u a l l y e n a b l e s t h e l a t t e r . T h a t i s t o s a y t h a t t h r o u g h e v o l u t i o n m a m m a l s a r r i v e d w i t h b r a i n s c a p a b l e o f l e a r n i n g f r o m t h e c o m p l e x s i g n a l s o f t h e w o r l d a r o u n d t h e m i n e x t r e m e l y e ffi c i e n t w a y s . W h o k n o w s ? I t m a y e n d u p b e i n g t h e c a s e t h a t e v o l u t i o n a r y m e t h o d s h e l p u s a r r i v e a t e ffi c i e n t l e a r n i n g a r c h i t e c t u r e s f o r g r a d i e n t - b a s e d l e a r n i n g s y s t e m s a s w e l l . P e r h a p s n a t u r e ’ s s o l u t i o n i s n ’ t s o i n e ffi c i e n t a f t e r a l l …
分享到:
收藏