Backend/AWS

aws lambda에서 pandas 사용하기

pandas를 위해 필요한 것 pandas는 기본적으로 하나의 모듈이 아니라, pandas를 사용하기 위해 여러 모듈들을 같이 설치하는 구조로 되어있다. 따라서 pip로 설치해보면 pandas만 깔리는 것이 아니라 여러 모듈들도 같이 깔린다. 그 중에 제일 중요한게 numpy인데, 실제로 pandas 모듈만 따로 레이어에 업로드해보면, 작동하지 않는다. aws-lambda는 amazon linux에서 돌아가는데, amazon linux는 PyPi나 conda-forge에서 설치하는 보통 numpy를 사용할 수 없다고 한다. 방법 사실 방법은 두 가지 정도가 존재하는데, 첫 번째 방법은 pandas와 그에 필요한 pytz 딱 두 개를 다운 받아서 레이어에 업로드하고 부차적으로 필요한 numpy나 scipy..

aws lambda에서 파이썬 selenium 동작하게 하기

이번에 챗봇 프로젝트를 진행하면서 웹 페이지에서 생성되는 파일 이름을 읽어올 필요가 있었다. 처음에는 requests를 이용하려 했으나, 그것이 동적으로 생성되는 데이터임으로 깨닫고.. selenium으로 변경했다. 그리고 이것을 실행할 환경인 aws lambda에서 돌아가게할 필요가 있었다. selenium 모듈 파일부터 구해야.. aws-lambda에서는 라이브러리를 따로 레이어 계층이란 곳에 추가시켜줘야 사용할 수 있다. 이 때 레이어는 파이썬 모듈 파일들을 zip로 압축한 파일들을 말하며, 이런 레이어들을 각 함수에서 추가시켜주면 된다. 우선 selenium을 aws-lambda에서 동작시키는데에는 3가지가 필요하다. chromedriver, headless-chromium, selenium이다...