본문 바로가기
반응형

전체 글161

[LangChain Crawler] 랭체인과 LLM으로 크롤링을 해보자 이 글은 아래의 의존성을 가진다. 2024.03.24 - [딥러닝 머신러닝 데이터 분석/Langchain & LLM] - [Langchain coding bot] 랭체인을 이용해서 코딩을 해 보자 - 1 [Langchain coding bot] 랭체인을 이용해서 코딩을 해 보자 - 1 랭체인을 이용해서 코딩을 해 보자. 독자의 랭체인과 LLM에 대한 기본적인 이해가 있다는 전재를 두고 이 글을 이어가겠다. // 무엇을 코딩할 것인가 우선은 무슨 코딩을 할지 정해야 한다. 사실 davi06000.tistory.com 2024.03.24 - [딥러닝 머신러닝 데이터 분석/Langchain & LLM] - [Langchain coding bot] 랭체인을 이용해서 코딩을 해 보자 - 2 [Langchain c.. 2024. 3. 26.
[Langchain coding bot] 랭체인을 이용해서 코딩을 해 보자 - 2 이 글은 아래의 의존성을 가진다. https://github.com/hyun06000/langchain-codingbot/blob/main/python_programmer.ipynb langchain-codingbot/python_programmer.ipynb at main · hyun06000/langchain-codingbot Contribute to hyun06000/langchain-codingbot development by creating an account on GitHub. github.com 2024.03.24 - [딥러닝 머신러닝 데이터 분석/Langchain & LLM] - [Langchain coding bot] 랭체인을 이용해서 코딩을 해 보자 - 1 [Langchain codin.. 2024. 3. 24.
[Langchain coding bot] 랭체인을 이용해서 코딩을 해 보자 - 1 랭체인을 이용해서 코딩을 해 보자. 독자의 랭체인과 LLM에 대한 기본적인 이해가 있다는 전재를 두고 이 글을 이어가겠다. // 무엇을 코딩할 것인가 우선은 무슨 코딩을 할지 정해야 한다. 사실 랭체인을 이용한 앱을 만들때 가장 중요한 부분이 LLM에게 무엇을 시킬 것인가 이다. 우리는 이번에 그림판 기능이 있는 웹 페이지를 만들어 보도록 하자. 무슨 기능을 구현할지 개발자가 정확하게 알고 있어야 올바른 프롬프트를 작성하는 것이 가능하다. 우선 생각의 순서보다는 작성된 코드를 탑다운으로 따라가면서 알아보자. https://github.com/hyun06000/langchain-codingbot/blob/main/python_programmer.ipynb langchain-codingbot/python_p.. 2024. 3. 24.
[k8s] Jetson Nano 병렬처리 해보기 지난 글에서 jetson nano를 워커노드로 세팅하는 방법까지 알아봤다. k8s 시리즈는 계속해서 연재중이라 마스터 노드를 설치하는 방법부터 여기까지 와있다. 젯슨 아키텍쳐 때문에 정말이지 설정을 찾아내는게 힘들었다. 진짜 진짜 힘들었다.... 그래도 한번 잘 정리를 해서 남겨보자. 젯슨 구형으로 진행한 점을 미리 알린다. 우선은 젯슨을 초기화 할 때 GUI를 쓰기 때문에 OS를 플레시 한 후에 처음은 반드시 모니터와 키보드 마우스를 모두 연결해야 한다. 그리고 첫번째 로그인을 해 준다. 이제는 우리에게 GUI가 필요 없다. sudo systemctl set-default multi-user sudo reboot 멀티 유저 모드로 전환하고 재부팅 해준다. 그러면 초기 세팅은 끝이다. https://gi.. 2023. 10. 12.
[k8s] Jetson Nano에 k3s 설치하고 워커노드로 구축하기 운이 좋게도 당근으로 젯슨 두대를 구했다. 젯슨의 기본적인 세팅은 간략하게 설명하고 넘어가겠다. 우선 젯슨은 ARM아키텍쳐기 때문에 역시 전용 OS를 사용하고 이 OS는 기본적으로 우분투 데스크탑을 베이스로 하고 있다. 따라서 GUI를 사용하도록 default 가 설정되어 있기 때문에 $ sudo systemctl set-default multi-user # GUI 끄기 $ sudo systemctl set-default graphical # GUI 켜기 등의 명령어를 이용해서 GUI를 켜거나 꺼주어야 한다. 또 GPU 아키텍쳐도 다르기 때문에 nvidia-smi 와 같은 모니터링 툴을 지원하지 않는다. tegrastats # 혹은 sudo -H pip install jetson-stats && jtop.. 2023. 9. 24.
[MPI] 파이썬으로 멀티노드 분산컴퓨팅 처리 - 2 분산처리를 잘 사용해 볼 수 있는 예제가 없을까 하다가 주변 지인의 추천으로 유전알고리즘을 적용해 보기로 했다. 1. 간단한 유전알고리즘 코드 짜기 간단한 유전 알고리즘의 코드를 짜보자. 유전알고리즘은 난수로 생성된 인구에 약간의 확률로 변이를 주고 두 인구를 융합함으로 2세대를 만들어내는 작업을 반복한다. 멀티 프로세싱에 아주 적합한 예시라고 할 수 있다. import random def init_population(dna_length, population): return ["".join(random.choice("01") for _ in range(dna_length)) for _ in range(population)] def fitness(dna): return dna.count("1") def s.. 2023. 9. 12.
반응형