லாமா 2 ஐ உள்நாட்டில் பதிவிறக்கம் செய்து நிறுவுவது எப்படி

லாமா 2 ஐ உள்நாட்டில் பதிவிறக்கம் செய்து நிறுவுவது எப்படி
உங்களைப் போன்ற வாசகர்கள் MUO ஐ ஆதரிக்க உதவுகிறார்கள். எங்கள் தளத்தில் உள்ள இணைப்புகளைப் பயன்படுத்தி நீங்கள் வாங்கும் போது, ​​நாங்கள் ஒரு இணை கமிஷனைப் பெறலாம். மேலும் படிக்க.

மெட்டா 2023 ஆம் ஆண்டு கோடையில் லாமா 2 ஐ வெளியிட்டது. லாமாவின் புதிய பதிப்பு அசல் லாமா மாடலை விட 40% கூடுதல் டோக்கன்களுடன் நன்றாக டியூன் செய்யப்பட்டுள்ளது, அதன் சூழல் நீளத்தை இரட்டிப்பாக்குகிறது மற்றும் கிடைக்கும் மற்ற ஓப்பன் சோர்ஸ் மாடல்களை கணிசமாக விஞ்சுகிறது. லாமா 2 ஐ அணுகுவதற்கான விரைவான மற்றும் எளிதான வழி ஆன்லைன் தளத்தின் மூலம் API வழியாகும். இருப்பினும், நீங்கள் சிறந்த அனுபவத்தை விரும்பினால், உங்கள் கணினியில் நேரடியாக Llama 2 ஐ நிறுவி ஏற்றுவது சிறந்தது.





இதைக் கருத்தில் கொண்டு, உங்கள் கணினியில் உள்ளூரில் அளவிடப்பட்ட Llama 2 LLM ஐ ஏற்றுவதற்கு Text-Generation-WebUI ஐ எவ்வாறு பயன்படுத்துவது என்பது குறித்த படிப்படியான வழிகாட்டியை உருவாக்கியுள்ளோம்.



ஏன் லாமா 2 ஐ உள்ளூரில் நிறுவ வேண்டும்

மக்கள் லாமா 2 ஐ நேரடியாக இயக்குவதற்கு பல காரணங்கள் உள்ளன. சிலர் தனியுரிமைக் கவலைகளுக்காகவும், சிலர் தனிப்பயனாக்கத்திற்காகவும், மற்றவர்கள் ஆஃப்லைன் திறன்களுக்காகவும் செய்கிறார்கள். உங்கள் திட்டங்களுக்காக லாமா 2 ஐ ஆராய்ச்சி, நன்றாகச் சரிசெய்தல் அல்லது ஒருங்கிணைக்கிறீர்கள் எனில், API வழியாக லாமா 2 ஐ அணுகுவது உங்களுக்காக இருக்காது. உங்கள் கணினியில் எல்.எல்.எம்-ஐ உள்நாட்டில் இயக்குவதன் நோக்கம், நம்பகத்தன்மையைக் குறைப்பதாகும் மூன்றாம் தரப்பு AI கருவிகள் மற்றும் நிறுவனங்கள் மற்றும் பிற நிறுவனங்களுக்கு உணர்திறன் மிக்க தரவுகளை கசியவிடாமல், எந்த நேரத்திலும், எந்த இடத்திலும், AI ஐப் பயன்படுத்தவும்.





அதனுடன், Llama 2 ஐ உள்நாட்டில் நிறுவுவதற்கான படிப்படியான வழிகாட்டியுடன் ஆரம்பிக்கலாம்.

படி 1: விஷுவல் ஸ்டுடியோ 2019 பில்ட் டூலை நிறுவவும்

விஷயங்களை எளிமைப்படுத்த, Text-Generation-WebUI (GUI உடன் Llama 2 ஐ ஏற்றுவதற்குப் பயன்படுத்தப்படும் நிரல்) ஒரு கிளிக் நிறுவியைப் பயன்படுத்துவோம். இருப்பினும், இந்த நிறுவி வேலை செய்ய, நீங்கள் விஷுவல் ஸ்டுடியோ 2019 பில்ட் டூலைப் பதிவிறக்கம் செய்து தேவையான ஆதாரங்களை நிறுவ வேண்டும்.



பதிவிறக்க Tamil: விஷுவல் ஸ்டுடியோ 2019 (இலவசம்)

  1. மேலே சென்று மென்பொருளின் சமூக பதிப்பைப் பதிவிறக்கவும்.
  2. இப்போது விஷுவல் ஸ்டுடியோ 2019 ஐ நிறுவி, மென்பொருளைத் திறக்கவும். திறந்தவுடன், பெட்டியை டிக் செய்யவும் C++ உடன் டெஸ்க்டாப் மேம்பாடு மற்றும் நிறுவு என்பதை அழுத்தவும். HuggingFace மாதிரி பெயரிடும் மாநாடு

இப்போது நீங்கள் C++ உடன் டெஸ்க்டாப் மேம்பாடு நிறுவியுள்ளீர்கள், Text-Generation-WebUI ஒரு கிளிக் நிறுவியைப் பதிவிறக்குவதற்கான நேரம் இது.



படி 2: Text-Generation-WebUI ஐ நிறுவவும்

Text-Generation-WebUI ஒரு கிளிக் நிறுவி என்பது ஒரு ஸ்கிரிப்ட் ஆகும், இது தானாகவே தேவையான கோப்புறைகளை உருவாக்குகிறது மற்றும் கோண்டா சூழலையும் AI மாதிரியை இயக்க தேவையான அனைத்து தேவைகளையும் அமைக்கிறது.

ஸ்கிரிப்டை நிறுவ, கிளிக் செய்வதன் மூலம் ஒரு கிளிக் நிறுவியை பதிவிறக்கவும் குறியீடு > ZIP பதிவிறக்கவும்.



பதிவிறக்க Tamil: Text-Generation-WebUI இன்ஸ்டாலர் (இலவசம்)

  1. பதிவிறக்கியதும், நீங்கள் விரும்பிய இடத்திற்கு ZIP கோப்பை பிரித்தெடுத்து, பிரித்தெடுக்கப்பட்ட கோப்புறையைத் திறக்கவும்.
  2. கோப்புறையில், கீழே உருட்டி, உங்கள் இயக்க முறைமைக்கான பொருத்தமான தொடக்க நிரலைத் தேடுங்கள். பொருத்தமான ஸ்கிரிப்டை இருமுறை கிளிக் செய்வதன் மூலம் நிரல்களை இயக்கவும்.
  3. உங்கள் வைரஸ் எதிர்ப்பு எச்சரிக்கையை உருவாக்கலாம்; இது நன்று. விரைவு வெறும் ஒரு வைரஸ் தடுப்பு தவறான நேர்மறை ஒரு தொகுதி கோப்பு அல்லது ஸ்கிரிப்டை இயக்குவதற்கு. கிளிக் செய்யவும் எப்படியும் ஓடு .
  4. ஒரு முனையம் திறந்து அமைப்பைத் தொடங்கும். ஆரம்பத்தில், அமைப்பு இடைநிறுத்தப்பட்டு, நீங்கள் எந்த GPU பயன்படுத்துகிறீர்கள் என்று கேட்கும். உங்கள் கணினியில் நிறுவப்பட்டுள்ள GPU இன் பொருத்தமான வகையைத் தேர்ந்தெடுத்து Enter ஐ அழுத்தவும். பிரத்யேக கிராபிக்ஸ் அட்டை இல்லாதவர்களுக்கு, தேர்ந்தெடுக்கவும் எதுவும் இல்லை (நான் CPU பயன்முறையில் மாடல்களை இயக்க விரும்புகிறேன்) . ஒரு பிரத்யேக GPU உடன் மாடலை இயக்குவதை விட CPU பயன்முறையில் இயங்குவது மிகவும் மெதுவாக இருக்கும் என்பதை நினைவில் கொள்ளவும். மாடல் கோப்புறையில் லாமா 2 மாடலை வைக்கிறது
  5. அமைவு முடிந்ததும், நீங்கள் இப்போது Text-Generation-WebUI ஐ உள்நாட்டில் தொடங்கலாம். உங்களுக்கு விருப்பமான இணைய உலாவியைத் திறந்து URL இல் வழங்கப்பட்ட IP முகவரியை உள்ளிடுவதன் மூலம் நீங்கள் அவ்வாறு செய்யலாம்.
  6. WebUI இப்போது பயன்படுத்த தயாராக உள்ளது.

இருப்பினும், நிரல் ஒரு மாதிரி ஏற்றி மட்டுமே. மாடல் ஏற்றி தொடங்குவதற்கு லாமா 2 ஐப் பதிவிறக்குவோம்.

படி 3: லாமா 2 மாடலைப் பதிவிறக்கவும்

லாமா 2 இன் மறு செய்கை உங்களுக்குத் தேவை என்பதைத் தீர்மானிக்கும் போது கருத்தில் கொள்ள வேண்டிய சில விஷயங்கள் உள்ளன. அளவுருக்கள், அளவீடு, வன்பொருள் தேர்வுமுறை, அளவு மற்றும் பயன்பாடு ஆகியவை இதில் அடங்கும். இந்த அனைத்து தகவல்களும் மாதிரியின் பெயரில் குறிக்கப்படும்.

  • அளவுருக்கள்: மாதிரியைப் பயிற்றுவிக்கப் பயன்படுத்தப்படும் அளவுருக்களின் எண்ணிக்கை. பெரிய அளவுருக்கள் அதிக திறன் கொண்ட மாதிரிகளை உருவாக்குகின்றன, ஆனால் செயல்திறன் செலவில்.
  • பயன்பாடு: நிலையானதாகவோ அல்லது அரட்டையாகவோ இருக்கலாம். ஒரு அரட்டை மாதிரியானது ChatGPT போன்ற சாட்போடாகப் பயன்படுத்த உகந்ததாக இருக்கும், அதே சமயம் தரநிலையானது இயல்புநிலை மாதிரியாக இருக்கும்.
  • வன்பொருள் மேம்படுத்தல்: எந்த வன்பொருள் மாதிரியை சிறப்பாக இயக்குகிறது என்பதைக் குறிக்கிறது. GPTQ என்பது ஒரு பிரத்யேக GPU இல் இயங்குவதற்கு மாடல் உகந்ததாக உள்ளது, அதே நேரத்தில் GGML CPU இல் இயங்குவதற்கு உகந்ததாக உள்ளது.
  • அளவீடு: ஒரு மாதிரியில் எடைகள் மற்றும் செயல்படுத்தல்களின் துல்லியத்தைக் குறிக்கிறது. அனுமானத்திற்கு, q4 இன் துல்லியம் உகந்தது.
  • அளவு: குறிப்பிட்ட மாதிரியின் அளவைக் குறிக்கிறது.

சில மாதிரிகள் வித்தியாசமாக வரிசைப்படுத்தப்பட்டிருக்கலாம் மற்றும் அதே வகையான தகவல்கள் காட்டப்படாமல் இருக்கலாம். இருப்பினும், இந்த வகை பெயரிடும் மரபு மிகவும் பொதுவானது கட்டிப்பிடிக்கும் முகம் மாதிரி நூலகம், எனவே இது இன்னும் புரிந்துகொள்ளத்தக்கது.

இந்த எடுத்துக்காட்டில், பிரத்யேக CPU ஐப் பயன்படுத்தி அரட்டை அனுமானத்திற்காக உகந்ததாக 13 பில்லியன் அளவுருக்களில் பயிற்சியளிக்கப்பட்ட ஒரு நடுத்தர அளவிலான Llama 2 மாதிரியாக மாடலை அடையாளம் காணலாம்.

பிரத்யேக GPU இல் இயங்குபவர்களுக்கு, ஒரு தேர்வு செய்யவும் GPTQ மாதிரி, CPU ஐப் பயன்படுத்துபவர்களுக்கு, தேர்வு செய்யவும் ஜிஜிஎம்எல் . நீங்கள் ChatGPT ஐப் போலவே மாடலுடன் அரட்டையடிக்க விரும்பினால், தேர்வு செய்யவும் அரட்டை , ஆனால் நீங்கள் அதன் முழு திறன்களுடன் மாதிரியுடன் பரிசோதனை செய்ய விரும்பினால், பயன்படுத்தவும் தரநிலை மாதிரி. அளவுருக்களைப் பொறுத்தவரை, பெரிய மாடல்களைப் பயன்படுத்துவது செயல்திறன் செலவில் சிறந்த முடிவுகளை வழங்கும் என்பதை அறிந்து கொள்ளுங்கள். 7B மாதிரியுடன் தொடங்குவதற்கு நான் தனிப்பட்ட முறையில் பரிந்துரைக்கிறேன். அளவைப் பொறுத்தவரை, q4 ஐப் பயன்படுத்தவும், ஏனெனில் இது அனுமானத்திற்கு மட்டுமே.

பதிவிறக்க Tamil: ஜிஜிஎம்எல் (இலவசம்)

பதிவிறக்க Tamil: GPTQ (இலவசம்)

லாமா 2 இன் மறு செய்கை என்ன என்பதை இப்போது நீங்கள் அறிந்திருக்கிறீர்கள், மேலே சென்று நீங்கள் விரும்பும் மாதிரியைப் பதிவிறக்கவும்.

என்னைப் பொறுத்தவரை, நான் இதை அல்ட்ராபுக்கில் இயக்குவதால், அரட்டைக்கு நன்றாக டியூன் செய்யப்பட்ட GGML மாதிரியைப் பயன்படுத்துவேன், call-2-7b-chat-ggmlv3.q4_K_S.bin.

பதிவிறக்கம் முடிந்ததும், மாதிரியை வைக்கவும் text-generation-webui-main > மாதிரிகள் .

இப்போது உங்கள் மாடல் பதிவிறக்கம் செய்யப்பட்டு, மாதிரி கோப்புறையில் வைக்கப்பட்டுள்ளதால், மாதிரி ஏற்றியை உள்ளமைக்க வேண்டிய நேரம் இது.

படி 4: Text-Generation-WebUIஐ உள்ளமைக்கவும்

இப்போது, ​​கட்டமைப்பு கட்டத்தை ஆரம்பிக்கலாம்.

  1. மீண்டும், Text-Generation-WebUIஐ இயக்குவதன் மூலம் திறக்கவும் start_(உங்கள் OS) கோப்பு (மேலே உள்ள முந்தைய படிகளைப் பார்க்கவும்).
  2. GUI க்கு மேலே அமைந்துள்ள தாவல்களில், கிளிக் செய்யவும் மாதிரி. மாதிரி கீழ்தோன்றும் மெனுவில் உள்ள புதுப்பி பொத்தானைக் கிளிக் செய்து உங்கள் மாதிரியைத் தேர்ந்தெடுக்கவும்.
  3. இப்போது கீழ்தோன்றும் மெனுவை கிளிக் செய்யவும் மாதிரி ஏற்றி மற்றும் தேர்ந்தெடுக்கவும் AutoGPTQ GTPQ மாதிரியைப் பயன்படுத்துபவர்களுக்கு மற்றும் மின்மாற்றிகள் GGML மாதிரியைப் பயன்படுத்துபவர்களுக்கு. இறுதியாக, கிளிக் செய்யவும் ஏற்றவும் உங்கள் மாதிரியை ஏற்றுவதற்கு.
  4. மாடலைப் பயன்படுத்த, அரட்டை தாவலைத் திறந்து, மாதிரியைச் சோதிக்கத் தொடங்கவும்.

வாழ்த்துகள், உங்கள் உள்ளூர் கணினியில் Llama2ஐ வெற்றிகரமாக ஏற்றிவிட்டீர்கள்!

மற்ற LLMகளை முயற்சிக்கவும்

Text-Generation-WebUI ஐப் பயன்படுத்தி Llama 2 ஐ நேரடியாக உங்கள் கணினியில் எவ்வாறு இயக்குவது என்பது இப்போது உங்களுக்குத் தெரியும், நீங்கள் Llama ஐத் தவிர மற்ற LLM களையும் இயக்க முடியும். மாடல்களின் பெயரிடும் மரபுகள் மற்றும் மாடல்களின் அளவுப்படுத்தப்பட்ட பதிப்புகள் (பொதுவாக q4 துல்லியம்) மட்டுமே வழக்கமான கணினிகளில் ஏற்றப்படும் என்பதை நினைவில் கொள்ளுங்கள். ஹக்கிங்ஃபேஸில் பல அளவு எல்எல்எம்கள் கிடைக்கின்றன. நீங்கள் மற்ற மாடல்களை ஆராய விரும்பினால், HuggingFace இன் மாடல் லைப்ரரியில் TheBloke ஐத் தேடவும், மேலும் பல மாதிரிகள் கிடைக்கும்.