🏢 사내 전산망용 GPT 서버 세팅 가이드
✅ 목적
외부 API 의존도를 줄이고, 내부 데이터 유출 위험 없이 GPT 기능을
사내 시스템(PLM, ERP, 그룹웨어 등)에 안전하게 통합하기 위한 구성 전략입니다.
📌 구성 시나리오 3가지
유형 | 설명 | 추천 환경 |
---|
① OpenAI API 프록시 방식 | 내부 서버에서 GPT API 호출 중계 | 외부 API 사용 가능할 경우 |
② GPT 모델 로컬 배포 (LLM) | GPT-3.5/4급 성능 오픈모델 직접 호스팅 | 외부망 차단, 자체 GPU 보유 |
③ Azure OpenAI + 전용 VPN | MS Azure의 GPT API 사용, 보안 연결 | 클라우드 연동 가능한 기업 |
✅ 1. 프록시 서버 구성 (OpenAI API 연동)
🔧 구성도
css
[내부 시스템] → [사내 GPT 프록시 서버] → [OpenAI API 서버]
🔐 장점
- API Key를 외부에 노출하지 않음
- 전사 API 호출 관리 및 로그 기록 가능
- 보안 그룹·사용자 인증·요금 제어 가능
🛠 프록시 예제 (Flask)
python
from flask import Flask, request, jsonify
import requests, os
app = Flask(__name__)
OPENAI_KEY = os.getenv("OPENAI_KEY")
@app.route("/chat", methods=["POST"])
def proxy_gpt():
payload = request.json
headers = {
"Authorization": f"Bearer {OPENAI_KEY}",
"Content-Type": "application/json"
}
res = requests.post("https://api.openai.com/v1/chat/completions", json=payload, headers=headers)
return jsonify(res.json())
app.run(host="0.0.0.0", port=8000)
✅ 2. 로컬 GPT 모델 배포 (사내 GPU 서버 활용)
🎯 추천 모델
모델 | 설명 | 자원 |
---|
LLaMA 2 (Meta) | GPT-3급, 오픈 라이선스 | 1~2x A100 |
Mistral 7B / Mixtral | 뛰어난 추론 성능 | 24GB VRAM 이상 |
DeepSeek, Yi-34B | 중국계 고성능 모델 | 80GB 이상 GPU |
LM Studio, Ollama | 쉽게 테스트 가능한 로컬용 | 개발 PC 또는 서버 |
🛠 기본 세팅 절차
- 서버 준비
- Ubuntu 22.04, NVIDIA 드라이버, CUDA 설치
- 모델 다운로드
- Hugging Face에서 safetensors 모델 받기
- LLM 서버 실행
text-generation-webui
, Ollama
, LM Studio
활용
- REST API 형태로 내부 시스템 연결
- POST
/generate
호출 → 결과 응답
✅ 3. Azure OpenAI 전용 VPN 연동
- Microsoft Azure OpenAI는 엔터프라이즈 GPT API를 제공합니다.
- 사내망과 VPN 또는 ExpressRoute로 전용망 연결 가능
- 보안인증(ISO 27001, GDPR, ISMS 등) 요구하는 기업에 적합
🔐 보안 구성 체크리스트
항목 | 설명 |
---|
🔐 API Gateway 구성 | 요청 필터링, 인증 처리, 트래픽 제어 |
🕵️♀️ 로그 감사 | 사용자 질의 내용과 응답 로그 저장 (GDPR 주의) |
📶 속도 제한 | 사용자/조직별 호출량 제한 (rate limiting) |
📁 민감정보 마스킹 | 입력 전 이메일, 이름, 도면 번호 제거 |
🔒 내부 사용자 인증 | JWT, LDAP, SSO 등과 연동 |
📊 운영 도구
도구 | 목적 |
---|
Prometheus + Grafana | API 요청/응답 모니터링 |
NGINX | Reverse Proxy + 보안 필터링 |
Docker | GPT 서버 컨테이너화 |
Vault (Hashicorp) | OpenAI Key 및 설정 암호화 관리 |
🎁 예제 운영 구성
docker-compose.yaml
예시
yaml
version: '3'
services:
gpt-proxy:
image: python:3.11
volumes:
- ./app:/app
working_dir: /app
command: python app.py
ports:
- "8000:8000"
environment:
- OPENAI_KEY=your-key-here
✅ 결론
사내 GPT API 연동을 위한 핵심 포인트는 **“보안, 통제, 편리함”**입니다.
- ✅ 외부 API 사용이 가능하다면 → 프록시 서버 방식
- ✅ 내부망 폐쇄 + 고성능 요구 시 → 자체 모델 배포
- ✅ 기업 인증, 보안 중요시 → Azure OpenAI + VPN 연동
✨ GPT는 단순 AI가 아니라, 전사 지식과 데이터를 연결하는 브레인입니다.
사내 전산망에 안전하게 연결하면 업무 혁신이 현실이 됩니다.