llm

지난번에 KorQuAD 1.0 데이터셋을 사용해서 llama 3.1 8B 기본 모델을 파인튜닝 해봤었는데..근데 이제 input 받아서 print만 해주면 멋이 없으니..깐? 😅그래서 Fast API로 배포해서 사용하는 방법을 로컬에서 실험해봤다.귀찮?아서 디자인은 안하고,, 그냥 GPT로 기본 웹 템플릿 하나 뚝딱해서 연결해봤다.배포랑 API 사용 둘 다 혼자 연습해본다고 ngrok 계정 하나 더 만든건 안비밀.. 간단하게 질문이랑 보기를 input 폼 두개에 입력하고 전송 버튼을 눌러주면,받은 내용을 바탕으로 정답을 찾아서 아래에 출력해주는 형식이다.질문이랑 보기는 그냥 별 생각없이..질문: 국내 음원 시장이 초토화된 이유는?보기: BIGBANG은 2000년대 초반 불법 음원 파일 공유 서비스의 유..

지난번에는 unsloth에서 가이드로 제시한 yahma/alpaca-cleaned 데이터셋으로 학습을 시켜봤는데,이번에는 직접 다른 데이터셋을 가져와서 간단하게 챗봇?을 만들어보았다. alpaca-cleaned 데이터셋과 비슷한 한글 데이터셋이 없을까.. 하고 찾아봤는데,오래 찾아보질 않아서 제대로 못찾은 것 같긴 하지만 일단 가장 비슷해 보이는 데이터셋을 찾았다. 허깅페이스에서 찾은 KorQuAD/squad_kor_v1 데이터셋이다. KorQuAD/squad_kor_v1 · Datasets at Hugging FaceThe viewer is disabled because this dataset repo requires arbitrary Python code execution. Please conside..

Unsloth를 참고하여 llama 3.1을 파인튜닝하는 과정을 정리해보았다.(사실 사이트 참고하면 간단하긴 한데, 그래도 영어보단 한글이 보기 편하니깐..) 참고한 내용은 👉🏻 링크 GitHub - unslothai/unsloth: Finetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memoryFinetune Llama 3.1, Mistral, Phi & Gemma LLMs 2-5x faster with 80% less memory - unslothai/unslothgithub.com개발환경 : Google ColabGPU : T4%%capture# Installs Unsloth, Xformers (Flash Attenti..

llama 3.1을 간단하게 찍먹해보았다..찍먹용이기 때문에 허깅페이스에서 써봤다. HuggingChatMaking the community's best AI chat models available to everyone.huggingface.co Ollama로 llama 3을 사용한 것과 간단히 비교해보았다.우선 llama3의 경우 한글을 잘 사용하지 못하는 것 뿐만 아니라,AI 특유의 '거짓말을 사실처럼 날조하기'가 아주 잘 되어있다..언제부터 뉴진스가 JYP 남돌이었냐고..그리고 저 짬뽕된 멤버들은 대체 무엇인가... 그에 비해 llama 3.1은 훨씬 정확하고 디테일한 정보를 알려주고 있다.정확도도 정확도인데, 확실히 한글을 잘 쓰는듯! 게임도 만들어보라고 한번 시켜봤다.우린 뭐먹고 사니..?근데 ..