논문 효과적으로 읽는 법

딥러닝을 위한 논문 가이드: https://kmhana.tistory.com/3

논문 읽기와 ML/DL 커리어 경력에 대한 조언 by 앤드류 응: https://media-ai.tistory.com/7

최신 논문 보는 곳: https://paperswithcode.com/

 

논문을 효과적으로 읽는법

논문을 읽을때 총 세번 다른 방법으로 읽는게 효과적임
1. 첫번째로 읽을때: 대략적인 아이디어 파악
2. 두번째로 읽을때: 디테일을 제외한 내용 파악
3. 세번째로 읽을때: 논문을 깊이 이해

 

 

First pass:
- 5-10 분 이내
- 제목, abstract, intro 를 읽음
- section 과 subsection 제목만 읽고 나머지는 과감히 스킵
- 결론을 읽음
- reference를 대충 읽으면서 이미 읽은 논문이 어떤건지 대충 파악

 

First pass가 끝나면 아래의 질문들에 대해서 답할 수 있어야 함
1. Category: what type of paper is this?
2. Context: What other papers are related? Which theories were used to analyze the problem?
3. Correctness: Are the assumptions valid?
4. Contributions: What are papers’ main contributions?
5. Clarity: Is the paper well written?

 

 

 

Second pass:
- 한 시간 이내
- 좀 더 자세히 읽되 증명 같이 너무 detail 한 것들 스킵
- 중요 내용들을 여백에 정리하면서 저자에게 물어보고 싶은 질문들도 적어놓음
- graphs, figure들을 눈여겨 볼것

 

 

 

Third pass:
- 2시간 이상
- 아예 논문을 머릿속에서 다시 써본다는 생각을 가지고 읽음
- 모든 문장 뒤에 있는 assumption을 확실히 이해하고, 그 assumption이 맞는지 확인해볼것
- 과연 나 같으면 어떤식으로 이 논문에 있는 아이디어를 제시할지 생각해볼것
- 새로운 아이디어들을 여백에 적음
- 읽고 나면 이 논문의 전체 구조를 기억할 수 있어야함

 

 

---

논문을 잘 읽는 방법

---

세상에 읽어야 할 논문은 정말 많다. 어떻게 읽어야 빠르고 정확하게 이해할 수 있을까? 역지사지(易地思之)라 했다. 가장 확실한 방법은 직접 당사자가 되어봐야 한다. 즉, 논문을 쓰고 심사하는 저자와 심사자 입장이 되어보는 것이다. 여기에선 모든 학문범위를 다룰 수 없는 관계로 필자가 관심있는 머신러닝 분야를 사례로 다뤄본다.

• 1. 저자에게서 얻는 착안
  저자 입장에서 생각해보자. 내가 논문 저자라면 연구성과를 명확히 표현함은 물론 심사과정에서 Accept를 얻어내기 위해 최대한 가독성있게 요약 전달하는 부분을 작성하게 될 것 같다. 독자는 그 부분 먼저 읽어야 하지 않을까? 정리하는 과정에서 Andrew Ng 교수의 조언이 많은 도움이 된다. 저자의 시각과 더불어 도움이 될 사항을 아래와 같이 정리해보았다. 앤드류응 - 스탠포트 CS 230 강의을 참고하시기 바란다.
  • Review 논문
    • Review 논문이란 관련 연구분야를 집대성하여 요약한 논문으로 교과서 반영 직전 단계라 말할 수 있을 정도로 연구성과가 잘 정리되어있다.
    • 즉, 관심있는 연구분야가 생겼다면 먼저 Review 논문을 파악함으로써 연구분야에 대한 논문 간 관계도 및 목차를 구성할 수 있게된다.
    • Nature지의 경우 최근 핫토픽을 정리하는 형태로 자주 올라온다.
    • 참고로, Article은 좀 더 자세한 최신 연구를 다루며, Letter는 좀 더 양이 적은 최신연구를 다룬다.
  • 논문의 목록을 정리 : Review 논문을 통해 읽어야 할 논문 목록을 수집한다.
  • 취사선택 : 목록에서 자세히 읽을 논문과 버릴 논문을 선정한다.
  • 수집한 논문별로 초록(abstract), 도표(figures)를 먼저 읽는다.
    • 기본적인 컨셉과 아이디어를 기술하여 전체 맥락을 잡을 수 있다.
  • 다음으로 도입(introduction), 결론(conclusion), 도표(figures)를 읽는다.
    • 왜 자신의 논문이 게재 승인되어야 하는지 명확히 설명하기 위해 신중하게 요약한 핵심정수가 담겨있다.
  • 잘 읽었는지 확인하기 Check-List
    • 저자가 뭘 해내고 싶어했는가?
    • 이 연구의 접근에서 중요한 요소는 무엇인가?
    • 스스로 이 논문을 이용할 수 있는가?
    • 참고하고 싶은 다른 레퍼런스에는 어떤 것이 있는가?
  • 추천하는 리딩 습관
    • 읽는데 걸리는 시간 : 관련 연구자 기준 보통 1-3시간
    • 한 주에 2개씩 꾸준히
    • 알고리즘 : 수식을 직접 쓰면서 이해하고 밑바닥부터 코드로 구현
    • 수식 : 직접 손으로 연산
  • 논문 정독횟수에 따른 ML/DL 지식수준
    • 5 ~ 20개 : ML/DL 시스템을 적용할 지식은 갖추었지만 최신의 기술을 이해하기에는 부족하다.
    • 50 ~ 100개 : 해당 분야에 대해 자세히 알고 있다.
  • 스터디/커리어의 방향
    • 배울 수 있는 팀으로 : 성장에 도움이 된다.
    • 좋은 프로젝트(직장) 선정 : 세상을 발전시킬 수 있는 가치있는 프로젝트
    • ML/DL을 다른 산업에 적용 : 헬스케어, 천문학, 기후 등
  • 추천 커뮤니티 Site
    • ML subreddit
    • ML/DL 컨퍼런스 : NIPS / ICML / ICLR

ICLR 2023

 

• 2. 심사자에게서 얻는 착안
  이번에는 심사자의 입장에서 생각해보자. 각 저널에는 논문 심사를 위해 저명한 교수님들로 구성된 Reviewer Pool이 있다. 명망이 높고 활동도 활발한 분들인지라 대부분 일반인들보다 24시간의 밀도가 꽤나 짙을 것이다. 따라서 심사에 많은 시간을 할애하길 원치는 않을 것이다. 즉, 그분들은 그동안의 연구 경험을 바탕으로 한 빠른 Accept/Reject 선별 기술이 있을것이다. 이를 바탕으로 심사자의 입장이 되어 그 분들의 눈이 되어보자.
  • Cover Letter 및 Abstract
    본 연구는 기존 연구와 이런점에서 다르다. 이와 같은 새로운 사실 또는 개선점을 밝힌다.
    위와 같은 형식이 없다면 Reject 가능성이 커진다. 논문을 위한 논문일 수 있다고 선입견을 가지게 되는 것이다. 우리는 이런 형식으로 언급된 부분을 먼저읽어 양질의 논문인지, 원하는 내용이 있는지 미리 가늠해봐야 한다.
  • 심사기준으로는 크게 독창성(Originality), 참신성(Novelty), 혁식적(Innovative) 3가지 기준이 중요한데 비록 기존에 잘 알려진 사실일지라도 해석이나 분석의 방법을 새롭게 하여 차별화된 설명, 혹은 결론으로 이끌 수 있다면 Accept되는 경우도 있다. 다만 이런 유형은 충분히 의미는 있겠지만 공부하는 우리 입장에서는 일단 차순위로 미뤄두는 것이 옳다고 본다.
  • Introduction
    이 부분은 연구배경, 목적, 필요성, 기존 연구와의 차별성이 보다 자세히 강조된다. 참고문헌의 약90 %가 참조되는 영역이므로 참고문헌의 갯수가 적은 논문은 사전조사가 부실하게 여겨질 가능성이 크다.
  • Clarivate Analytics(구 톰슨 로이터)의 저널 평가지표
    지금까지 논문 평가에 대한 혜안을 빌려왔다면 저널에 대한 평가를 알아보고 싶을때 저널 평가지표가 도움이 된다.
    • 저널의 IMPACT FACTOR(인용률), Rejection Rate 등의 수치
    • 저자들의 국제성, 즉 여러 국가와 기관에서의 투고율
  • 기타
    심사자도 사람이므로 논문을 바라보는 시각과 기준, 각자의 논리 성향이 다양할 수 있음을 염두에 두어야 한다. 저널에 실렸다고 완벽하다고 반드시 읽어야 한다고 판단하는 우에서 벗어날 수 있고, 더불어 작성시에는 충분히 참신하고 자신 있음에도 Reject될 경우 다른 저널에 게재하는 등의 방법을 시도할 필요가 있다.

이와 같이 작성자와 심사자의 입장이 되어 논문을 읽는다면, 입체적으로 비판적인 시각으로 보다 빠른 이해에 도움이 될 것이다.

 

논문과 관련된 유용한 필수지식

---

먼저 논문 및 그 Eco환경에 대해 전혀 모르는 분들은 반드시 본 파트에 정리한 사항들을 먼저 읽어주시기 바란다. 그동안 궁금했던 것들이 한번에 뚫릴것이다.

• 1. 논문의 구성요소
  논문을 이루는 큰 구성요소들을 친숙한 말투로 정리해보았다.
  • Title : 우리가 한게 뭐다
  • Author : 누가썼다 + 저자의 소속 기관
  • Abstract :
    • 요약 : 본 연구는 기존 연구와 이런점에서 다르다. 이와 같은 새로운 사실 또는 개선점을 밝힌다.
    • 판매를 위한 광고용으로도 쓰일 수 있기 때문에 독립된 글로 봐야 한다.
  • Introduction :
    • 우리가 한게 뭐다.
    • 왜 중요하냐면, 본 연구는 기존 연구와 이런점에서 다르다. 이와 같은 새로운 사실 또는 개선점을 밝힌다.
    • 참고문헌을 보면 과거에 어떤 사람들이 이런 시도를 했으나, 이 부분이 부족해서 어떤 아이디어를 가지고 어떤 실험을 했다.
  • Result&Discussion : “실험결과에 대한 논의 후 이런 결과가 나왔다” 반복
  • Conclusion :
    • 우리가 이런 결론을 얻었다. 미래에는 뭐가 중요하겠다.
    • 이 기술이 기존과 어떻게 다르고 어떤 장단점이 있다. 주로 이런 의미이고 이게 왜 중요하다.
  • Method : 논문에 활용한 실험 방법, 테크닉
    • ex) 내가 세포를 어떻게 키웠는지, 어떤 수식으로 분석했는지, 어떤 장비로 측정했는지… 등
  • Acknowledgements :
    • 연구비 누구한테 받고, 누가 도와줬고, 저자 중에 누구는 특허권자다
    • 저자 중에 누구는 연구비를 받고있다 명시(공정성을 위해)
  • References : 타 논문 인용 명시, 과거 언급, 기술