ѧÊõÌÃÊ×Ò³ | ÎÄÏ×ÇóÖúÂÛÎÄ·¶ÎÄ | ÂÛÎÄÌâÄ¿ | ²Î¿¼ÎÄÏ× | ¿ªÌⱨ¸æ | ÂÛÎĸñʽ | ÕªÒªÌá¸Ù | ÂÛÎÄÖÂл | ÂÛÎIJéÖØ | ÂÛÎÄ´ð±ç | ÂÛÎÄ·¢±í | ÆÚ¿¯ÔÓÖ¾ | ÂÛÎÄд×÷ | ÂÛÎÄPPT
ѧÊõÌÃרҵÂÛÎÄѧϰƽ̨Äúµ±Ç°µÄλÖãºÑ§ÊõÌà > ¼ÆËã»úÂÛÎÄ > ¼ÆËã»úÐÅÏ¢¹ÜÀíÂÛÎÄ

´óÊý¾Ý¶à×⻧µÄ¼¼ÊõÑо¿ºÍ¼¼Êõ·½°¸

À´Ô´£ºÎ´Öª ×÷ÕߣºÑîÀÏʦ
·¢²¼ÓÚ£º2022-07-09 ¹²1699×Ö

¡¡¡¡Õª    Òª£º¡¡Ëæ×ÅÈ«¹úÊý×Ö»¯½ø³Ì¼Ó¿ì£¬ºÜ¶à×éÖ¯»ú¹¹¶¼¾ß±¸Á˺£Á¿µÄÊý¾Ý£¬¶¼ÐèҪʹÓôóÊý¾Ýƽ̨À´½øÐÐÊý¾Ý´¦Àí¡£È»¶ø£¬ÔÚͬһ¸ö×éÖ¯»ú¹¹ÄÚ²¿£¬´óÊý¾Ý×ÊÔ´Èç¹û²»½øÐÐÏÞÖÆ£¬ËùÓÐÓû§¶¼¿ÉÒÔ·ÃÎʵ½£¬¿ÉÄÜ»á´æÔÚ×ÊԴʹÓò»ºÏÀíÓëÊý¾Ý鶵ÈÎÊÌ⡣ΪÁ˽â¾öÕâ¸öÍ´µã£¬±¾ÎÄͨ¹ý¶Ô´óÊý¾Ý¶à×⻧¼¼Êõ½øÐÐÁËÉîÈëÑо¿£¬½áºÏÒµÎñ¾ßÌåÐèÇ󳡾°Ñо¿ÓëÉè¼ÆÁ˶à×⻧¼¼ÊõÂäµØ·½°¸£¬×îºó¶Ô¶à×⻧¼¼ÊõÓ¦ÓýøÐÐÁË×ܽáÓëÕ¹Íû¡£

¡¡¡¡¹Ø¼ü´Ê :     ¶à×⻧:´óÊý¾Ý; Hadoop;

¡¡¡¡1 ¡¢ÒýÑÔ

¡¡¡¡Ëæ×Å´óÊý¾ÝµÄÆÕ¼°£¬Ô½À´Ô½¶àµÄ×éÖ¯»ú¹¹½«×Ô¼ºµÄº£Á¿Êý¾ÝµÄ´æ´¢ÓëÔËËã·ÅÔÚHadoop¼¯ÈºÉÏ¡£È»¶øÓÉÓÚͬ¹«Ë¾²»Í¬ÏîÄ¿»òÕß²¿ÃÅÖ®¼ä¶Ô¼ÆËãºÍ´æ´¢µÄÐèÇó²»Í¬£¬Ô­ÓÐÌṩһÌ׵ײãHadoop¼¯Èº¸øÓû§Ê¹ÓÃÒѾ­²»ÄÜÂú×ãÓû§µÄÐèÇó£¬Ö÷Òª´æÔÚÒÔϼ¸¸öÎÊÌ⣺

¡¡¡¡(1£©¶à¸öÓû§Ö®¼ä¹«ÓÃÒ»Ì׵ײã´æ´¢×ÊÔ´£¬±Ë´ËÖ®¼äÊý¾ÝûÓнøÐиôÀ룬»áµ¼Ö´洢µÄÊý¾Ýй¶£»

¡¡¡¡(2£©²»Í¬Óû§±àдµÄ²»Í¬¼ÆËãÈÎÎñ¹«ÓõײãÈ«Á¿¼ÆËã×ÊÔ´£¬»áµ¼Ö¼ÆËã×ÊÔ´ÒªÇó¸ßµÄÈÎÎñÎÞ·¨»ñµÃ×ã¹»×ÊÔ´µÈ£»

¡¡¡¡(3£©¶ÔIO,CPU£¬ÄÚ´æµÈµÄÒªÇó²»Í¬µÄÈÎÎñÎÞ·¨·ÖÅäµ½¾ß±¸ÏàÓ¦Ìس¤µÄ½ÚµãÉÏÔËÐС£

¡¡¡¡ÕýÊÇÉÏÊöÎÊÌ⣬ÔÚûÓжÔHadoop¼¯Èº×ÊÔ´½øÐо«Ï¸»¯¹ÜÀíʱ£¬ºÜÈÝÒ׳öÏÖÊý¾ÝÓ뼯Ⱥ×ÊÔ´»ìÂÒÎÞÐòµÄ״̬¡£

¡¡¡¡2 ¡¢Ïà¹Ø¸ÅÄî

¡¡¡¡ÔÚ½éÉܶà×⻧Ïà¹ØÑо¿ÓëÉè¼ÆÇ°£¬Ê×ÏÈÐèÒª¶ÔÏÂÊö¸ÅÄî½øÐнéÉÜ£º

¡¡¡¡(1£©´æ´¢×ÊÔ´£º·Ö²¼Ê½´æ´¢Îļþϵͳ£¨Hadoop Distributed File System,HDFS£©ÖеÄÒ»¸ö»òÕ߶à¸öĿ¼£»

¡¡¡¡(2£©¼ÆËã×ÊÔ´£º×ÊÔ´µ÷¶ÈЭµ÷ϵͳ£¨Yet Another Resource Negotiator,YARN£©ÖжÓÁУ»

¡¡¡¡(3£©¶ÓÁУº¼ÆËãÈÎÎñ½øÐÐ×ÊÔ´·ÖÅäµÄ×îСµ¥Î»¡£

¡¡¡¡3¡¢ ¶à×⻧¼¼ÊõÑо¿

¡¡¡¡Ä¿Ç°£¬¶à×⻧µÄʵÏÖÓжàÖÖ·½°¸£¬ÏÂÃæ¶ÔÏà¹Ø¼¼Êõ·½°¸½øÐзÖÎö¡£

¡¡¡¡»ùÓÚÈÝÆ÷µÄ¶à×⻧´óÊý¾Ýƽ̨¹¹½¨·½°¸£¬Í¨¹ýÈÝÆ÷»¯¼¼Êõ·â×°´óÊý¾Ý×é¼þ³ÉÃèÊöÐÔÎļþ£¬ÔÙͨ¹ýÔƼÆË㣬ÔÆ°²È«Ìṩ¶à×⻧°²È«µÄ¸ôÀëÓë¹²Ïí¡£¸Ã·½°¸Ö÷ÒªÀûÓÃÁËÔƼÆËãµÄ×⻧¸ôÀëÊֶΣ¬À´ÊµÏÖ¶ÔËùÔËÐÐ×é¼þµÄ¸ôÀ룬µ«ÊÇÓÉÓÚÆäÿ¸ö´óÊý¾Ý×é¼þËù¾ßÓеÄÊý¾ÝÊDZ˴˸ôÀëµÄ£¬ÈÝÒײúÉúÊý¾Ý¹Âµº£¬ÔÚÐèÒª¶Ô¸÷¸ö×⻧Êý¾Ý½øÐÐÈ«Á¿¼ÆËãʱ£¬ÄÑÒÔÊÊÓá£

¡¡¡¡»ùÓÚHadoopµÄ¶à×⻧´óÊý¾Ýƽ̨·½°¸Ö÷ÒªÊÇ»ùÓÚHadoopÉú̬µÄHDFS¡¢YARNµÈµÄ¹¦ÄÜÀ´¶Ô×ÊÔ´½øÐиôÀë¡£HDFS¿ÉÒÔͨ¹ýĿ¼µÄ·ÃÎÊȨÏÞ£¬À´¶Ô¸÷¸ö×⻧Ïà¹ØµÄÓû§·ÃÎÊȨÏÞ½øÐиôÀëÏÞÖÆ¡£YARNÖеļÆËã¶ÓÁÐÒ²¿ÉÒÔͨ¹ýÏà¹ØÅäÖÃÀ´¶ÔÆä½øÐиüϸÁ£¶ÈµÄ·ÃÎÊ¿ØÖÆÒÔ´ïµ½²»Í¬×⻧µÄ·ÃÎʸôÀë¡£

¡¡¡¡4¡¢ ¶à×⻧¼¼Êõ·½°¸

¡¡¡¡ÓÉÓÚ¿ÉÄÜÐèÒª¶Ô¸÷×⻧Êý¾Ý½øÐиü¸ß²ã´ÎµÄ¼ÆË㣬±¾ÂÛÎÄÖ÷Òª²ÉÓûùÓÚHadoopÉú̬µÄ¶à×⻧ʵÏÖ·½°¸¡£

¡¡¡¡µ«ÊÇÓÉÓÚ²»Í¬°æ±¾µÄHadoopÔÚ×⻧Ïà¹ØµÄ¹¦ÄÜÉÏÊÇÓÐÇø±ðµÄ¡£Hadoop2.7ËäȻҲ֧³Ö¶à×⻧ÄÜÁ¦£¬µ«ÊÇÆä¶ÔYARNÖжÓÁж¯Ì¬¿ØÖÆÄÜÁ¦»¹ÓÐЩǷȱ¡£ÆäÎÞ·¨×öµ½¶Ô¶¯Ì¬×ÊÔ´µÄɾ³ý£¬Ã¿´ÎÒª³¹µ×ɾ³ý¶¯Ì¬×ÊÔ´¶¼ÐèÒª¶Ô×é¼þ½øÐÐÖØÆô¡£Æä´ÎÓÉÓÚϵͳÐèÒª¶Ô¹ú²ú·ÉÌÚ·þÎñÆ÷£¨ARM¼Ü¹¹£©Ö§³Ö¡£ËùÒÔÑ¡ÔñÁËHadoop3.3.0°æ±¾¡£

¡¡¡¡¿¼Âǵ½ÐèÒªÖ§³Ö¶ÓÁпÉÑ¡Ôñ²»Í¬ÌØÐԵĽڵã·ÖÇøÓëÐèÒªÖ§³Ö¶à¼¶×⻧£¬²ÉÓÃÁËÈÝÁ¿µ÷¶ÈÆ÷À´ÊµÏÖ¶Ô¶¯Ì¬×ÊÔ´µÄ¹Ü¿Ø¡£ÈÝÁ¿µ÷¶ÈÆ÷µÄ½Úµã±êÇ©¹¦ÄÜ£¨Node Label£©¿ÉÒÔ¶Ô¼ÆËã½Úµã½øÐдò±êÇ©·ÖÀ࣬Ȼºóͨ¹ý¶Ô¶¯Ì¬×ÊÔ´ÅäÖò»Í¬±êÇ©µÄ½Úµã×ÊÔ´³Ø£¬À´ÊµÏÖ¶Ô¶¯Ì¬×ÊÔ´µÄ½Úµã·ÖÇøÑ¡Ôñ¡£

¡¡¡¡¾ßÌåµÄ×⻧Óë×ÊÔ´·ÃÎÊȨÏÞµÄÅäÖã¬Ö÷ÒªÓÐÁ½·½Ã棬һ·½ÃæΪ´æ´¢×ÊԴȨÏÞ£¬Ö÷ÒªÊÇ»ùÓÚPOSIXÄ£ÐÍ£¬ÔÚ´´½¨ÍêĿ¼ºó¶ÔĿ¼µÄ·ÃÎÊȨÏÞ½øÐÐÉèÖã»ÁíÒ»·½ÃæÊǶ¯Ì¬¼ÆËã×ÊÔ´µÄ·ÃÎÊȨÏÞ£¬Ö÷ÒªÊÇͨ¹ýÉèÖö¯¼ÆËã̬×ÊÔ´µÄacl£ßsubmit£ßapplicationsÓëacl£ßadminister£ßqueueÁ½¸ö²ÎÊýÀ´¿ØÖÆ¡£

¡¡¡¡±¾ÏîÄ¿¶ÔHadoopÏà¹Ø×é¼þµÄÕûÌå¹Ü¿Ø·½°¸Èçͼ1Ëùʾ£¬Í¨¹ýƽ̨²ãÏ·¢Ö¸Áî»òÕßHTTPÇëÇóÀ´ÊµÏֶԵײã×é¼þµÄ¿ØÖÆ¡£

ͼ1 ÕûÌå¹Ü¿Ø·½°¸

ͼ1 ÕûÌå¹Ü¿Ø·½°¸

¡¡¡¡5 ¡¢×ܽá

¡¡¡¡±¾ÎÄËùÌá³öµÄ´óÊý¾Ý×⻧ʵÏÖ·½°¸£¬Ïà¶ÔÓÚ»ùÓÚÈÝÆ÷µÄ×⻧·½°¸£¬²»´æÔÚ¼¯Èº»¯µÄÊý¾Ý¸ôÀë¡£¶ÔÓÚʹÓÃÕßÀ´Ëµ£¬±ÜÃâÁË´æ´¢Êý¾ÝµÄй¶£¬¶Ô¼ÆËã×ÊÔ´½øÐÐÁ˸üϸ»¯µÄ¹Ü¿Ø£¬Ìá¸ßÁË»úÆ÷µÄʹÓÃЧÂÊÓë¼ÆËãÈÎÎñµÄÖ´ÐÐЧÂÊ£¬ÔÚʵ¼ÊʹÓÃÖÐÓÐ×Ų»´íµÄ·´À¡¡£

¡¡¡¡²Î¿¼ÎÄÏ×

¡¡¡¡[1]ÁÖΰΰ,ÕÅ×ÓÁú, Áõ¿­£¬µÈ. -ÖÖ»ùÓÚÈÝÆ÷µÄ¶à×⻧´óÊý¾Ýƽ̨¹¹½¨·½·¨[P]. CN106569895A,2017.
¡¡¡¡[2]ÕÅ×ÓÁúÃæÏò´óÊý¾ÝµÄ¶à×⻧¹Ø¼ü¼¼ÊõÑо¿[D]»ªÄÏÀí¹¤´óѧ.
¡¡¡¡[3]ºÎÃÀ±ó,ºú¾«Ó¢»ùÓÚHadoopµÄ´óÊý¾Ýƽ̨¶à×⻧¹ÜÀí²ßÂÔÑо¿[J]µçÄÔ±à³Ì¼¼ÇÉÓëά»¤, 2017(23):58-60.

Ïà¹Ø±êÇ©£º
  • ±¨¾¯Æ½Ì¨
  • ÍøÂç¼à²ì
  • ±¸°¸ÐÅÏ¢
  • ¾Ù±¨ÖÐÐÄ
  • ´«²¥ÎÄÃ÷
  • ³ÏÐÅÍøÕ¾