특정 이슈가 되는 게시물을 찾아서 자동으로 게시물을 작성하기

const titleMatch = itemXml.match(/<title><!\[CDATA\[(.*?)\]\]><\/title>/s);
const descMatch = itemXml.match(/<description><!\[CDATA\[(.*?)\]\]><\/description>/s);
const pubDateMatch = itemXml.match(/<pubDate>(.*?)<\/pubDate>/);
// ...

export function generateFilterPrompt({ title, description }: FilterPromptParams): string {
  return `다음 게시글이 새로운 AI, LLM 모델 또는 AI/LLM을 활용한 소프트웨어에 관한 내용인지 판단해주세요.
 
제목: ${title}
내용: ${description}
 
판단 기준:
1. 새로운 AI/LLM 모델 출시 (GPT, Claude, Gemini, Llama 등)
2. AI/LLM 관련 연구 논문이나 학술 연구 발표
3. AI/LLM을 활용한 새로운 도구, 프레임워크, 라이브러리 출시
4. AI/LLM 기술의 혁신적인 발전이나 돌파구
5. AI/LLM 업계의 주요 발표나 업데이트
 
다음 중 하나에 해당하면 관련성이 높다고 판단:
- AI/ML 관련 arXiv, Nature, Science 등의 논문 링크
- AI/LLM 모델을 활용한 GitHub 새 릴리스나 새 프로젝트
- OpenAI, Anthropic, Google, Meta 등 AI 회사의 공식 발표
- 새로운 언어 모델이나 멀티모달 모델 출시
- AI 에이전트, AI 코딩 도구, AI 생성형 서비스
- ChatGPT, Claude, Copilot 등 AI 제품의 새로운 기능
 
관련성이 낮은 것들:
- AI와 관련 없는 일반적인 소프트웨어나 기술
- 단순한 업계 뉴스나 인사 소식
- AI가 아닌 다른 분야의 연구나 기술
- 개인적인 의견에 대한 게시물
 
응답은 XML 형태로 작성하며 reason 과 confidence를 포함해야 합니다.
reason은 판단 이유를 한 문장으로 작성하며 confidence는 0.0-1.0 사이의 숫자로 작성해야 합니다.
confidence는 1에 가까울 수록 관련성이 높다고 판단하며 0에 가까울 수록 관련성이 낮다고 판단합니다.
앞서 제시한 기준을 참고하여 판단해주세요.
 
응답 형식 (XML):
<result>
  <reason>판단 이유를 한 문장으로</reason>
  <confidence>0.0-1.0 (1에 가까울 수록 AI/LLM 관련성이 높다고 판단)</confidence>
</result>`;
} 

AI 필터링 결과: 게시글은 OpenAI 직원이 Meta의 연구원 채용에 반응하는 내용으로, 
이는 새로운 AI/LLM 모델 출시, 연구 논문 발표, 새로운 도구 출시,  
기술적 돌파구 또는 AI/LLM 제품의 주요 업데이트가 아닌 단순한 AI 업계의 인사 소식에 
해당하여 관련성이 낮습니다. - 0.2

AI 필터링 결과: 해당 게시글은 Salesforce CEO가 자사 내에서 AI/LLM 기반 소프트웨어가 업무의 절반을 처리하고 있다는 
현재의 성과를 언급하는 내용으로, AI/LLM을 활용한 소프트웨어의 실제 적용 및 그 성과에 대한 중요한 업계 소식으로 볼 수 있습니다. 
이는 새로운 모델이나 도구의 직접적인 출시 발표는 아니지만, AI/LLM 기술의 발전과 활용 현황에 대한 업데이트에 해당합니다. - 0.7

export const generateCommonBlogWritePrompt = (content?: string, similarPosts?: string[]) => {
    return `
주어진 내용을 바탕으로 개조식(個條式) 스타일로 정리하여 한국어 블로그 포스트로 작성할 것.
${content ? `<content>${content}</content>` : ''}
 
작성 원칙:
1. 제목은 핵심 내용을 간결하게 요약.
2. 본문은 번호와 기호를 활용한 개조식으로 체계적으로 구성.
3. 각 항목은 간결하고 명확하게 작성하되, 너무 짧은 문장은 지양.
4. 중요한 내용은 굵은 글씨(**텍스트**)로 강조.
5. 계층 구조를 활용하여 주제별로 분류.
6. 기술적 내용을 이해하기 쉽게 설명.
7. 실용적 정보와 핵심 포인트에 집중.
8. 내용의 성격에 따라 자유롭게 구성하되, 읽기 쉽고 이해하기 쉽게 작성
 
에러 발생 조건:
- URL 접근이 불가능한 경우.
 
출력 형식:
<title>
개조식 포스트 제목. 제목만 반드시 작성. 다른 부가적인 설명 및 주석은 작성하지 말 것.
</title>
<content>
개조식 포스트 내용. 내용만 반드시 작성. 다른 부가적인 설명 및 주석은 작성하지 말 것.
 
하면 안되는 것:
- ~다, ~요 등의 조사 표현을 사용하지 말 것.
</content>
<category>
- 해당 포스트의 카테고리. 예시: LLM, ML, AI, CS
- 2개 이상일 경우 콤마(,)로 구분.
- 카테고리는 반드시 영어로 작성.
</category>
 
에러 발생 조건 중 하나라도 발생한 경우 다음 출력 형식을 사용할 것:
<error>
에러 발생 메시지. 여기에는 원인을 간단히 작성합니다.
</error>
 
title, content, category와 error 태그는 동시에 존재할 수 없습니다.
 
위 원칙을 바탕으로 내용에 가장 적합한 형식으로 자유롭게 작성할 것.
오직 포스트만 작성할 것. 다른 부가적인 내용은 작성하지 말 것.
    `
}

// LLM 초기화
this.llm = new ChatGoogleGenerativeAI({
            apiKey: env.GEMINI_API_KEY,
            model: config.model || 'gemini-2.5-flash-preview-05-20',
            temperature: config.temperature || 0.4,
        })
// ...

const prompt = this.prompt(post, simliarPosts);
// bindTools를 통해 URL 컨텍스트 도구를 사용하도록 설정
const response = await this.llm.bindTools([{ urlContext: {} }]).pipe(new StringOutputParser()).invoke(prompt);
 
// 결과물을 파싱
const titleMatch = response.match(/<title>\s*(.*?)\s*<\/title>/s);
const contentMatch = response.match(/<content>\s*(.*?)\s*<\/content>/s);
const categoryMatch = response.match(/<category>\s*(.*?)\s*<\/category>/s);
const errorMatch = response.match(/<error>\s*(.*?)\s*<\/error>/s);

export class PostManager {
    // ...
    async savePost(post: ProcessedPost): Promise<AiPost | null> {
		try {
			// 이미 존재하는 게시글인지 확인
			if (await this.isPostExists(post.originalUrl)) {
				console.log(`이미 존재하는 게시글: ${post.originalTitle}`);
				return null;
			}
 
			const result = await this.db
				.insert(aiPosts)
				.values({
					title: post.title,
					content: post.content,
					author: post.author,
					originalUrl: post.originalUrl,
					category: post.category,
					platform: post.platform,
					community: post.community,
					originalTitle: post.originalTitle,
					originalAuthor: post.originalAuthor,
					postScore: post.postScore,
				})
				.returning()
				.execute();
 
			console.log(`게시글 저장 완료: ${post.title}`);
			return result[0];
		} catch (error) {
			console.error('게시글 저장 중 오류:', error);
			throw new Error(`게시글 저장 실패: ${error instanceof Error ? error.message : '알 수 없는 오류'}`);
		}
	}
    // ...
}

export async function vectorizeText(text: string) {
    const embeddings = new GoogleGenAI({
        apiKey: env.GEMINI_API_KEY,
    })
 
    const vector = await embeddings.models.embedContent({
        model: "text-embedding-004",
        contents: text,
        config: {
            taskType: 'RETRIEVAL_DOCUMENT',
            outputDimensionality: 768,
        }
    });
 
    if (!vector.embeddings) {
        throw new Error('Failed to vectorize text');
    }
 
    return vector.embeddings[0].values;
}

const inserted = await env.VECTORIZE.insert([{
    id: post.id.toString(),
    values: vector,
    metadata: {
        postId: post.id,
    }
}]);

export async function retrieveSimilarPosts(query: string): Promise<AiPost[]> {
    const postManager = new PostManager(env.DB);
 
    const embeddings = new GoogleGenAI({
        apiKey: env.GEMINI_API_KEY,
    })
 
    const vector = await embeddings.models.embedContent({
        model: "text-embedding-004",
        contents: query,
        config: {
            taskType: 'RETRIEVAL_DOCUMENT',
            outputDimensionality: 768,
        }
    });
    
    if (!vector.embeddings) {
        throw new Error('Failed to vectorize text');
    }
 
    const result = await env.VECTORIZE.query(vector.embeddings[0].values!, {
        topK: 3,
        returnValues: true,
        returnMetadata: true,
    });
 
    if (!result) {
        throw new Error('Failed to query vectorize');
    }
 
    const threshold = 0.5;
    
    const postIds = result.matches
			.filter((match) => match.metadata?.postId && match.score && match.score > threshold)
			.map((match) => match.metadata?.postId!.toString()) as string[];
    const posts = await postManager.getPostsByIds(postIds);
    return posts;
}

export const generateCommonBlogWritePrompt = (content?: string, similarPosts?: string[]) => {
    return `
주어진 내용을 바탕으로 개조식(個條式) 스타일로 정리하여 한국어 블로그 포스트로 작성할 것.
${content ? `<content>${content}</content>` : ''}
 
작성 원칙:
1. 제목은 핵심 내용을 간결하게 요약.
2. 본문은 번호와 기호를 활용한 개조식으로 체계적으로 구성.
3. 각 항목은 간결하고 명확하게 작성하되, 너무 짧은 문장은 지양.
4. 중요한 내용은 굵은 글씨(**텍스트**)로 강조.
5. 계층 구조를 활용하여 주제별로 분류.
6. 기술적 내용을 이해하기 쉽게 설명.
7. 실용적 정보와 핵심 포인트에 집중.
8. 내용의 성격에 따라 자유롭게 구성하되, 읽기 쉽고 이해하기 쉽게 작성
 
에러 발생 조건:
- URL 접근이 불가능한 경우.
- 문서 유사도 검색을 통해 이미 작성된 포스트가 작성할 포스트 내용과 유사한 경우.
 
${similarPosts && (
    `다음은 문서 유사도 검색을 통해 이미 작성된 포스트 목록의 내용입니다.
    <similar-posts>
    ${similarPosts.map((post) => `- ${post}`).join('\n')}
    </similar-posts>`
)}
 
출력 형식:
<title>
개조식 포스트 제목. 제목만 반드시 작성. 다른 부가적인 설명 및 주석은 작성하지 말 것.
</title>
<content>
개조식 포스트 내용. 내용만 반드시 작성. 다른 부가적인 설명 및 주석은 작성하지 말 것.
 
하면 안되는 것:
- ~다, ~요 등의 조사 표현을 사용하지 말 것.
</content>
<category>
- 해당 포스트의 카테고리. 예시: LLM, ML, AI, CS
- 2개 이상일 경우 콤마(,)로 구분.
- 카테고리는 반드시 영어로 작성.
</category>
 
에러 발생 조건 중 하나라도 발생한 경우 다음 출력 형식을 사용할 것:
<error>
에러 발생 메시지. 여기에는 원인을 간단히 작성합니다.
</error>
 
title, content, category와 error 태그는 동시에 존재할 수 없습니다.
 
위 원칙을 바탕으로 내용에 가장 적합한 형식으로 자유롭게 작성할 것.
오직 포스트만 작성할 것. 다른 부가적인 내용은 작성하지 말 것.
    `
}

"triggers": {
    "crons": [
        "20 * * * *",
        "40 * * * *", 
    ]
}
//...

const filtered = await filter.filterAll(result);
 
// 필터링 된 포스트를 처리하지 않음
if (!filtered.shouldProcess) {
    // 이슈 필터로 필터링 된 경우 필터링 결과를 저장
    if (filtered.reason === "ai_relevance" && filtered.aiReason) {
        await filterManager.saveFilteredPost({
            originalUrl: result.url,
            originalTitle: result.title,
            platform: data.platform,
            community: data.community,
            filterReason: filtered.aiReason,
            filterType: filtered.reason
        });
    }
    continue;
}

export class CommonFilter {
//...
    async filterAll(post: ParserResult): Promise<FilterResult> {
        // ...
        const isFiltered = await this.filterPostManager.isPostFiltered(post.url);
        if (isFiltered) {
            return {
                shouldProcess: false,
                reason: 'already_exists',
            };
        }
        // ...
    }
}