이번 장에서는 캐시에 대해서 기술하며 책의 5번째 여정입니다. 다시 복기하자면 컴파일러 -> 프로세스/스레드 -> 메모리 -> CPU에 이은 장이며, 컴퓨터가 캐싱을 하기 위한 방법과 문제에 대해서 서술합니다.1. 캐시, 어디에나 존재하는 것CPU는 메모리에서 정보를 가져와 업무를 수행하며, 이를 더 효율적으로 수행하기 위해서 캐시를 발명도서관으로 비유하면 캐시는 책상 메모리는 서고캐시는 L1,L2,L3로 나눠어져 있으며 점차 그 크기가 커짐가상메모리의 경우 실제 메모리보다 더 크게 설정될 수 있는데 이 경우 하드디스크에 데이터를 저장맥북의 경우 활성 상태 보기에서 캐시에 대한 정보를 확인할 수 있음이전에 인텔 맥을 사용하면서 16기가 중에 거진 15기가를 점유하고 사용하고 있었다. 맥북을 새로 구입하면..

이번 글은 NVIDIA의 certificate 중 하나인 Prompt Engeering 자격증에 대한 취득 과정을 기술합니다. 또한, 학습과정에서 NotebookLM, GPTs, 노션AI를 활용해서 효과적으로 학습한 후기를 함께 남깁니다. 추후 다른 자격증을 공부하실 때 활용할 수 있는 좋은 레퍼런스가 될 수 있길 바랍니다.DLI course에 대한 정보는 다음 글에 작성해놓았습니다.https://snowgot.tistory.com/198 NIVIDA 인증 프로그램 정리좋은 기회로 NIVIDA 인증 프로그램에 참여하게 되었습니다. 다양한 항목들이 있어서 정리할 겸 작성해봅니다.1. 항목큰 카테고리는 4가지(Gen Al/LLM, Deep Learning, Accelerated Computing, Data ..

이번 글에서는 NVIDA DLI Course에서 수행한 과정에서 LLMs 특성과 그를 보완하기 위한 방법에 대해서 작성합니다. 프롬프트엔지니어링이 무엇인지 그리고 Langchian으로 어떤 클래스와 메소드를 이용해서 구현하는지 알아보겠습니다.1. LLM이 무엇인가?LLM은 2017년 Google 발표한 Transformer를 기반으로하는 딥러닝 아키텍처. 핵심은 문맥을 이해하기 위해 단어 간의 관계를 계산하여 토크나이징과 벡터화를 이용하여 정보를 추상화딥러닝은 행렬과 가중치로 데이터를 저장. 음악 믹서로 비교하자면, 보컬,드럼,베이스에 대한 소리를 조절하는 슬라이더가 있고, 그 슬라이더의 위치(가중치)를 바꾸면서 음악을 만들어내는 것과 같음. 수십개의 슬라이더의 조합이 행렬이라고 할 수 있음이 가중치는..

자체적으로 채점자동화를 위한 웹 서비스를 만든 후기를 작성해봅니다. 소규모 인원을 대상으로 GCP 서비스를 조합해서 편하게 채점할 수 있도록 만들었고 그 과정에서 개발, 배포, 서비스 운영에 대한 전반적인 내용을 다룹니다. 그 과정에서 일어난 시행 착오를 공유하여 독자들이 서버리스 자동화를 설계할 때 사전에 고려해야할 점 등을 예습하는 글이 되길 바랍니다.1. 채점 서비스의 필요성1.1. 기존 채점 프로세스의 문제점문제1) 과제 제출 -> 피드백 까지의 시간 지연기존에는 학생들이 과제를 제출하면 이를 받아 채점 튜터들이 채점하고 리뷰를 하는 구조로 진행 되어있습니다. 학생들의 답안 제출 -> 교육 시스템에 적재 -> 튜터에게 할당(10명 등) -> 각자의 로컬 컴퓨터에서 코드를 실행 & 리뷰를 작성답안 ..

Nvidia DLI 이수 과정에서 Langchain 실습 내용을 남깁니다. 기본적인 clinet 생성과 call과정을 남깁니다. gemini free tier를 이용했습니다. 전체 코드링크https://github.com/bellepoque7/nvidia_dli/blob/main/course1.ipynb nvidia_dli/course1.ipynb at main · bellepoque7/nvidia_dliContribute to bellepoque7/nvidia_dli development by creating an account on GitHub.github.com1. 환경세팅from dotenv import load_dotenvimport getpassimport osload_dotenv(verbos..

2025년 데이터야 놀자 발표자로 참가했습니다. 2019년부터 참여를 드문드문 해오다가 발표자로 참가하려니 새롭네요. 참가자의 후기는 많을테니 저는 발표자로 참가하된 계기와 그 과정에서 얻는 깨달음 등을 정리해보는 글을 작성해봅니다 :) 발표에 관심이 있으시다면 2번 단락의 Lesson Learn을 집중적으로 보시면 도움이 되실 것 같습니다1. 발표 계기사실 퇴사한 2023년에도 운영진에게 발표 제안이 들어왔었지만, 항상 미루고 미뤘습니다. 발표라는게 되게 웅장하고 높은 목표일 것 같고 높은 상아탑을 만든 사람만 얘기할 수 있는 자리처럼 느껴졌거든요. 하지만 미룬다고 대단한 사람이 되는 건 아니였습니다.🤣 그래서 이번에 인과추론을 공부한 김에 같은 맥락인 A/B 테스트가 왜 중요한지 정리하는 시간을 가..

이전 단원에서는 CPU가 하는 일과 그와 함께 등장하는 스레드, 코루틴, 콜백함수와 동기/비동기 등에 대해서 알아봤습니다. 이번 장에서는 CPU가 데이터를 끌어오는 장소 메모리에 대해서 어떻게 활용하는지에 대해서 논의합니다. 특히, 함수의 호출에 대한 스택영역과 동적 할당을 위한 힙 영역에서 활용되는 예시를 아주 상세하게 설명하고 있어서 개인적으로 이해가 잘되었습니다. 마무리로는 Python에서 자동으로 메모리할당/제거 해주는 가비지 컬렉션 외에도 관리할 수 있는 몇가지 방법에 대해서 작성하며 마무리합니다.1. 메모리의 본질, 포인터와 참조처음 C언어를 배울 때, 포인터는 많이 좌절하는 구간입니다. C에서는 포인터에 대해서 중요하게 다루는 반면 java와 Python에서는 참조라는 이름으로 다르게 불리웁..

1. 문제 출처https://school.programmers.co.kr/learn/courses/30/lessons/151138 프로그래머스SW개발자를 위한 평가, 교육의 Total Solution을 제공하는 개발자 성장을 위한 베이스캠프programmers.co.kr 2. 문의 의도난이도: 하case when 문법을 통한 조회하기DATE 자료형 변환하기DATE_FORMAT(문자형, '%Y-%m-%D')레퍼런스 :https://dev.mysql.com/doc/refman/8.4/en/date-and-time-functions.html#function_date-format3. 풀이-- 코드를 입력하세요SELECT HISTORY_ID, CAR_ID, DATE_FORMAT(START_DATE,'%Y-%m-%..

이번 장에서는 운영체제, 프로세스, 스레드의 개념을 기반으로 동기/비동기, 블로킹/논블로킹에 대해서 다룹니다. 기본적으로 컴퓨터가 일을 처리하는 방식에서의 추상화된 개념을 배울 수 있는 좋은 장이였습니다.1. 용어 정리신규 개념프로그램 카운터레지스터진입 포인트(Entry Point)구조체(structure)스레드(thread)스레드 풀(thread pool)동기/비동기콜백지옥블록/논블록컨테이너1. CPU가 하는일1. 메모리에서 명령어 가져오기2. 이 명령어를 실행하기CPU는 프로그램 카운터(PC), 레지스터에 명령어 주소를 저장함. 소스 파일을 컴파일러가 실행파일로 변환시키고, 이를 디스크에 저장하며 실행 당시 메모리에 올리면 CPU가 이를 확인하여 실행시킴. 다중프로세스 프로그랭을 통해서 한 번에 여러..

1. 문제 출처https://school.programmers.co.kr/learn/courses/30/lessons/1573402. 문의 의도날짜를 기준으로 대여 가능 여부를 확인하는 쿼리case when 으로 비트 마스킹 후 min/max함수를 이용해 이용 가능한 차량 출력하기3. 풀이# car_id 기준으로 한번이라도 0이 등장하면 못빌리는 자동차select car_id, case when possible = 1 then '대여 가능' else '대여중' end as AVAILABILITYfrom( select car_id, min(possible) as possible from ( select car_id, DATE_..