Fast api로 머신러닝 기반 웹사이트 만들고 배포하기

고양이 사료 추천 시스템 만들기 : 여러 아이템 기반 추천(Item-item collaborative filtering)을 만들면서 

웹사이트를 만드는 데는 Python + Fast API, 

DB는 MongoDB, 

배포는 heroku로 진행하였다. 

 

Fast API를 사용한 이유는 다음과 같다. 

MongoDB는 다음의 이유로, 

  • json 형태로 데이터를 쉽게 넣을 수 있다
  • 데이터의 확장이 용이하다(열 추가)

Heroku는 촉박한 프로젝트 일정 상, 배포가 빠르다는 이유로 선택하였으나 다음 프로젝트는 꼭 AWS로 배포를 해보고 싶다.

 

Fastapi는 다음의 간단한 코드로도 웹 화면을 만들고 띄울 수 있다.

from fastapi import FastAPI

app = FastAPI()


@app.get("/")
async def root():
    return {"message": "Hello World"}

 

그리고 JinJa2나 Boostrap을 활용하여 웹사이트를 꾸밀 수 있다.

img.png

처음에 고양이 정보를 등록하는 페이지. 버튼과 폼, 링크가 들어간 텍스트를 사용했다.

고양이 정보를 등록하면, 해당 고양이가 평가한 사료가 사료 평가 데이터베이스에 저장된다.

 

평가는 아래의 페이지에서 할 수 있다.

 

img.png

별점은 폼 형식으로 쉽게 고를 수 있게 만들었다. Fast API에서 사료 이름을 form으로 어떻게 받아올까 하다가, 아예 사료 이름을 form 형식으로 넣어버리니 쉽게 받아올 수 있었다. 미관상은 좀 떨어져서 추후 개선 예정. 

데이터는 한국어로 된 고양이/강아지 사료 데이터를 구하기 힘들어, 강이지/고양이 사료 판매 쇼핑몰에서 Beautifulsoup으로 크롤링했다. 상업적 목적으로 사용하지 않을 것임을 다시 한번 밝힙니다... 

 

img.png

평가를 하면 고양이 리스트에서 조회가 가능하다. "입맛 확인하러 가기"를 누르면 해당 고양이에게 추천된 사료가 뜬다.

 

img.png

고양이별로 추천된 사료. 추천 방식은 고양이 사료 추천 시스템 만들기 : 여러 아이템 기반 추천(Item-item collaborative filtering) 에 자세히 기재했다. 

 

Fast API 를 사용하며 느낀 바는 다음과 같다.

- 성능과 시간 면에서는 flask와 큰 차이를 느끼지 못했으며, 오히려 pymongo를 사용하였기 때문에 db와 쿼리 시 문법에 for문이 들어가 시간복잡도가 증가하는 경향이 있었다.

@app.get("/catinfo", response_class=HTMLResponse)
async def recommend_food(request: Request, cat_id: int=1.0):
    catlist = []
    cats = cat_col.find()
    for cat in cats:
        reviewlist = []
        catreviewcount = rating_col.find({'cat_id':cat['cat_id']})
        for crw in catreviewcount:
            reviewlist.append(crw)
        catlist.append((cat, len(reviewlist)))
    return templates.TemplateResponse("catinfo.html", {"request": request, "cats":catlist})

여러 항목을 조회할 시, for문을 써서 리스트에 넣어줘야 pymongo에서 데이터가 조회가 된다. 

 

- 찾을 수 있는 샘플 코드도 flask보다 덜 RESTful한 경우가 많았다.
   (main 파일에 거의 모든 코드가 다 들어있는 경우가 생각보다 많았다)

- 에러가 적은지도 체감상 크게 느끼지 못했다. 로그인 기능을 구현하는데 어려움을 겪었고, 프로젝트 기간 내에 이미 만들어진 웹사이트 위에 로그인 기능을 넣는 것이 되지 않았다. 꼭 리팩토링 기간에 다시 해봐야겠다.

- 최근 핫한 최신의 스택이라고 무조건 답이 아니라는 것도 알게 되었다. 하지만 직접 부딪히며 오류와 문제를 해결해본 좋은 경험이 되었다.

 

2달 전과 달라진 점(flask로 처음 웹사이트를 만들어 배포해볼 당시)

- 검색 구현을 db에 있는 이름 단위가 아닌, 키워드 단위로 구현할 수 있게 되었다.
  Mongodb에서 특정한 문자열 검색해서 결과물 리턴하기

- BeautifulSoup을 사용한 크롤링을 그래도 DB를 구축할 만큼은 할 수 있게 되었다. 그리고 크롤링한 걸 바로 DB에 넣는 것도 할 수 있게 되었다. 이전에는 API를 사용해 받아온 json 파일을 바로 DB에 넣었었다.
  파이썬으로 AWS Dynamodb 쉽게 연결하고 데이터 넣기
 

- 아이템-아이템 기반 협업 필터링에서 선호도 정보를 추가하는 방법을 고안하고, 적용해보았다. 참고 코드를 복붙하는 것 외에 내가 생각한 방법으로 추천 시스템을 만들었다는 점이 뿌듯하다. 아직 추천 성능은 많이 개선해야 하지만...!

0
0
이 글을 페이스북으로 퍼가기 이 글을 트위터로 퍼가기 이 글을 카카오스토리로 퍼가기 이 글을 밴드로 퍼가기

파이썬 Python

번호 제목 글쓴이 날짜 조회수
16 비큐냐(Vicuna)와 text-generation-webu 관리자 04-17 676
15 Pyjosa - 파이썬 한글 조사 처리 모듈 관리자 03-11 690
14 Python 에서 한글 조사 을/를, 이/가, 은/는, 와/과 출력하기 관리자 06-10 1,746
13 flask multifile upload 관리자 05-25 828
12 Fast api로 머신러닝 기반 웹사이트 만들고 배포하기 관리자 05-16 1,545
11 CentOS에서 Python 버전 변경 관리자 05-04 715
10 fastapi 관리자 05-04 766
9 PyQt5 프린트 할 위젯 선택하고 프린트 하는 예제 관리자 02-22 813
8 Python 가상환경 - venv 관리자 02-15 586
7 MacOS에서 Pyenv PYENV_VIRTUALENV_DISABLE_PROMPT 문구 제거 하기 관리자 02-05 524
6 Mac VSCODE에서 가상환경내 Python으로 Python Interpreter 설정 관리자 02-05 774
5 NAVER API를 사용해서 크롤링하기 - 2 관리자 02-05 1,991
4 NAVER API를 사용해서 크롤링하기 - 1 관리자 02-05 584
3 selenium을 사용한 데이터 크롤링하기 관리자 02-05 521
2 Using both Python 2.x & 3.x 관리자 02-05 455
1 MacOS] Python(pyenv) 설치 및 버전관리 관리자 02-05 463