개발

최근 가장 핫한 주제가 있다면 Chat-GPT가 아닐까? 얼마 전에 이를 처음 접하고 이런저런 용도로 사용해보고 있다. 지금은 아주 한정적인 영역에만 활용하고 있지만 상상하는 모든게 가능한 이 툴을 최대한 활용해보고싶다. 최근에는 연구실 내부 제안서 작성에 이를 활용했다. 원래 내가 어느정도 한글로 적고 구글 번역과 내 영어를 이용해서 이를 번역해왔었는데, 구글 번역이 해낸 직역이 영 맘에 들지 않는 경우가 매우 잦았다. 이럴 때 Chat-GPT가 매우 유용하게 쓰인다. Revise the following statements 같은 요청은 물론이고 Revise the following statements more formally 도 물론이고 make the following statements longe..

너무 기초적인 내용이라 가볍게 넘어갈 만한 부분이기도 하지만, 하지만 random variable에 대해 명확히 설명할 수 있어야 기본기를 제대로 알고있다고 할 수 있습니다. 공부하는 김에 처음부터 제대로 하자 싶어서 보게된 강의입니다. 링크와 제가 간단히 정리한 것 공유해요 Materials : LINK Random Variable Formal definition The random variable is not random, it's not a variable, It's just a function from the sample space to the real numbers. Properties Functions of random variables are also random variables. When..

수식을 입력해야하는 일이 잦다면 아래 순서대로 설정하시면 편합니다. 1. 설정으로 들어가기 2. 좌측 메뉴에 꾸미기 - 스킨 편집 3. HTML 편집 클릭 4. 아래 코드 복사 5. 사이에 아래와 같이 붙여넣고 적용해주면 끝! 마지막. 글쓰기 기본모드에서 $$ 사이에 원하는 수식을 넣어보세요. $$ \displaystyle \frac{n(n+1)}{2} $$ 수식이 작성된답니다. Latex에서 수식 작성하는 것 처럼 써주면 되는데요. 기존에 notion등으로 이미 이런 형태의 수식을 작성하는데 익숙하신 분들은 동일하게 사용해주시면 됩니다. 저는 수식 작성할 때 아래 링크를 참고하곤 합니다! 아주 유용해요 :) https://katex.org/docs/supported.html KaTeX – The fas..

트랜스포머 공부하면서 꼭 정리해두어야 하는 개념, normalization. 각각 한 줄로 정리합니다. layer normalization : batch내에 각각의 sample에 대해서 여러 feature들 간에 normalization batch normalization : 각각의 feature에 대해서 한 batch내의 여러 sample간에 normalization 혼동하지 마세요 !!!

Topic: Comparing CNNs, RNNs, and Self-Attention Transformer에 대해 공부하던 중 세가지 모델을 비교하고 있는 자료가 있길래 공부하면서 표를 만들어보았는데 나중에 논문을 보면서 확인해보니 이걸 정리해놓은 table이 그대로 있었다 !!!

Objective Self-attention은 병렬 처리를 위해 sequential 한 구조를 가지고 있지 않다. 하지만 sequential 한 정보를 input에 의도적으로 넣어주고자 positional Encoding을 진행한다. Ideas How to assign a number[0,1] to each time-step? problem 단어가 몇개가 있을 줄 알고..? 문장에 따라 time-step간의 간격의 의미가 달라져서 consistent하지 못하게 된다. How to assign a number to each time-step linearly? problem assigned number의 값이 너무 커질 가능성 만약 trained된 문장보다 더 큰 문장을 만나면? Criteria Unique..

Youtube의 [MIT 6.034 Artificial Intelligence] 5. Search: Optimal, Branch and Bound, A* 강의 내용을 혼자 정리한 내용입니다. 링크 : https://www.youtube.com/watch?v=gGQ-vAmdAOI Oracle (optimal) Branch & bound 목적지에 도달할 때까지 최단 경로를 연장 그 이후에는 최단 경로가 맞는지 확인하기 위해 다른 경로의 길이가 최단 경로의 길이보다 길어질 때 까지 다른 node들에 대해서도 Tree를 그린다. Initialize Queue → Test first Path → Extend first path (if not already extended) → sort → Test first pa..

British Museum algorithm : 모든 가능성을 확인 DFS, BFS → 둘 다 Node가 중복 & 나아가는 방향에 대한 고려 X 어디로 나아가는지를 인지하면서 탐색하는 방법? 일반적으로 목적지와 더 가까워질 수록 좋다. Hill Climbing DFS와 유사 얼마나 목적지에서 가깝냐를 기준으로 우선순위를 매긴다. 목적지에 더 가까운 노드 우선으로 탐색 Beam search BFS와 유사 추가 정보를 사용하는 heuristic을 더한다. Beam width w Limitation