은닉 마르코프 모델

참고 링크!!!!

http://en.wikipedia.org/wiki/Hidden_Markov_model
http://blog.daum.net/hazzling/15669927
http://shineware.tistory.com/12

출처: http://iskim3068.tistory.com/59 [LausdeoF]

http://www.modulabs.co.kr/?module=file&act=procFileDownload&file_srl=11743&sid=47620326bfee67a6e62981f37a869314&module_srl=320

https://bi.snu.ac.kr/Publications/Theses/EomJH_MS01.pdf

http://www.aistudy.com/linguistics/speech/hidden_markov_model.htm

출처: http://untitledtblog.tistory.com/97

twitter-korean-text

https://github.com/twitter/twitter-korean-text

twitter-korean-text 

트위터에서 만든 오픈소스 한국어 처리기

Scala/Java library to process Korean text with a Java wrapper. twitter-korean-text currently provides Korean normalization and tokenization. Please join our community at Google Forum. The intent of this text processor is not limited to short tweet texts.

스칼라로 쓰여진 한국어 처리기입니다. 현재 텍스트 정규화와 형태소 분석, 스테밍을 지원하고 있습니다. 짧은 트윗은 물론이고 긴 글도 처리할 수 있습니다. 개발에 참여하시고 싶은 분은 Google Forum에 가입해 주세요. 사용법을 알고자 하시는 초보부터 코드에 참여하고 싶으신 분들까지 모두 환영합니다.

twitter-korean-text의 목표는 빅데이터 등에서 간단한 한국어 처리를 통해 색인어를 추출하는 데에 있습니다. 완전한 수준의 형태소 분석을 지향하지는 않습니다.

twitter-korean-text는 normalization, tokenization, stemming, phrase extraction 이렇게 네가지 기능을 지원합니다.

정규화 normalization (입니닼ㅋㅋ -> 입니다 ㅋㅋ, 샤릉해 -> 사랑해)

• 한국어를 처리하는 예시입니닼ㅋㅋㅋㅋㅋ -> 한국어를 처리하는 예시입니다 ㅋㅋ

토큰화 tokenization

• 한국어를 처리하는 예시입니다 ㅋㅋ -> 한국어Noun, 를Josa, 처리Noun, 하는Verb, 예시Noun, 입Adjective, 니다Eomi ㅋㅋKoreanParticle

어근화 stemming (입니다 -> 이다)

• 한국어를 처리하는 예시입니다 ㅋㅋ -> 한국어Noun, 를Josa, 처리Noun, 하다Verb, 예시Noun, 이다Adjective, ㅋㅋKoreanParticle

어구 추출 phrase extraction

• 한국어를 처리하는 예시입니다 ㅋㅋ -> 한국어, 처리, 예시, 처리하는 예시

Introductory Presentation: Google Slides

Try it here

Gunja Agrawal kindly created a test API webpage for this project: http://gunjaagrawal.com/langhack/

Gunja Agrawal님이 만들어주신 테스트 웹 페이지 입니다. http://gunjaagrawal.com/langhack/

Opensourced here: twitter-korean-tokenizer-api

텍스트 마이닝 (Text Mining)

퍼옴: http://cseric.cau.ac.kr/new_Cseric/yungoostep/content.asp?idx=903&startpage_view=861&startpage=861&page=1
텍스트 데이터 마이닝 혹은 텍스트 분석이라고도 불리는 텍스트 마이닝은 텍스트로부터 고품질의 정보를 파생하는 과정을 말한다. 고품질의 정보는 일반적으로 통계 패턴 학습과 같은 방법으로 패턴 및 트렌드를 정하는 방법을 통하여 얻을 수 있다. 텍스트 마이닝은 일반적으로 구조화된 데이터의 패턴에서 파생된 입력 텍스트를 설계하는(보통 언어 기능으로부터 파생된 몇 가지를 추가하거나 이외의 것들을 제거하는 구문 분석과 데이터 베이스에 삽입하는 일) 과정을 포함한다. 텍스트 마이닝에서 고품질이라 함은 일반적으로 관련성, 참신성, 흥미도의 조합을 통해 나타낸다. 전형적인 텍스트 마이닝 작업은 텍스트 분류, 텍스트 클러스터링, 개념/엔티티 추출, 세분화된 분류, 정서 분석, 문서 요약, 엔티티 관계 보델링을 포함한다. 텍스트 마이닝은 정보 검색, 단어 빈도 분포를 알아내기 위한 어휘 분석, 패턴 인식, 태그/주석, 정보 추출, 링크 및 결합 분석, 시각화, 예측 분석을 포함하는 데이터 마이닝 기술을 포함하고 있다. 주요 목표는 자연 언어 처리와 분석 방법의 애플리케이션을 통하여 텍스트를 분석할 수 있는 데이터로 변환시켜주는데 있다. 기업에서 생성, 저장, 재사용하는 정보 중 약 1/5만이 활용도가 높은 정형 데이터로 구성되어 있고 나머지 4/5는 워드프로세서, 이메일, 프리젠테이션, 스프레드시트, PDF와 같은 복합 문서와 인터넷 페이지 등 비정형 텍스트 형태로 구성되어 있다. 정형 데이터의 SQL 검색으로부터 시작한 정보 검색은 비정형 데이터를 위한 검색으로 발전하게 되었고 다양한 검색 단말을 이용한 웹 검색으로 발전하였다. 하지만 검색 단말들이 많은 정보를 검색해주기 시작하면서 원하지 않는 정보들 사이에서 유요한 정보를 찾는 문제를 가지게 되었다. 이와 같은 정보 검색 환경에서 유용한 정보를 효과적으로 찾기 위하여 비정형 데이터인 문서로부터 유용한 정보를 추출하고 가공하는 기술이 필요하게 되었다. 대량의 정보를 효과적으로 다루기 위하여 많은 연구가 진행되고 있는데 이 중 데이터베이스에 저장된 자료와 같이 정형화된 데이터로부터 정보를 추출, 가공하는 데이터 마이닝은 이미 실용성을 갖추고 많은 분야에서 널리 사용되고 있지만 디지털 정보의 대부분은 비정형 데이터인데 텍스트 마이닝은 이와 같은 비/반정형 데이터에 대한 자연어 처리 기술과 문서 처리 기술을 적용하여 유용한 정보를 추출, 가공하는 것을 목적으로 하고 있다. 핵심 연구 분야에는 문서 요약, 특성 추출 등이 있다. < 텍스트 분석 과정 > 정보 수집 및 식별을 통한 준비 단계: 분석을 위하여 웹, 파일 시스템, 데이터 베이스, 콘텐츠 관리 시스템에서의 텍스트 자료를 수집하거나 식별 비록 일부 텍스트 분석 시스템은 순수 통계 방법에 스스로를 제한하지만 다른 시스템에서는 음성 태그, 구문 분석과 같이 광범위한 자연어 처리과정을 적용하여 처리한다. 명명된 엔티티 인식은 명명된 텍스트 기능을 식별하기 위하여 통계적 기술이나 지명 사전을 사용: 사람, 조직, 장소 이름, 주식 시세 표시 기호, 특정 약어 등을 포함. 문맥 단서의 사용은 예를 들어 “Ford”의 경우 전 미국 대통령, 차량 제조업체, 영화 배우, 도로 이름과 같이 다양하게 의미가 존재하는 것과 같이 이렇게 적합한 의미들을 정리해주어야 한다. 동일 지시성: 명사 구문과 동일한 개체를 참조하는 단어를 식별 관계, 사실, 이벤트 추출: 텍스트의 엔티티들과 다른 정보들 사이의 연관 관계를 식별 정서 분석은 안목있는 주관적인 자료와 사고방식의 다양한 형태를 추출하는 것을 포함: 감정, 의견, 분위기, 정서 등. 텍스트 분석 기술은 엔티티, 개념, 주제 수준의 정서를 분석하고 의견 발언자와 의견 객체를 구별하는데 도움을 준다. 정량 텍스트 분석은 의미나 문체 패턴을 찾아내기 위한 인간의 판단이나 컴퓨터가 추출하는 단어들 사이의 의미론적, 문법적 관계를 이용하는 것과 같은 기술들을 포함하도록 한다. < 관련 연구 > 문맥 텍스트 마이닝은 시간 및 장소와 같은 문맥 정보를 가지는 텍스트 콜렉션으로부터 화제를 추출하고 서로 다른 문맥에서 주제의 변화를 비교 분석하는 것에 주를 두고 있다. 문서에 설명된 주제는 보통 문서의 문맥과 관련이 있기 때문에 문맥에서 화제를 분석하는 것은 잠재적으로 많은 흥미로운 주제 패턴을 나타낼 수 있다. University of Illinois at Urbana-Champaign에서는 새로운 기존의 모델을 적용할 수 있는 특별한 경우를 통하여 문맥 텍스트 마이닝을 위한 일반적인 확률 모델을 제안하였다. 특히 이들은 문서의 문맥을 모델링하기 위하여 확률 잠재 의미 분석(Probabilistic Latent Semantic Analysis; PLSA)을 확장하여 문맥 확률 잠재 의미 분석(contextual probabilistic latent semantic analysis; CPLSA)이라고 불리는 혼합 모델을 고안하였는데 시간이나 문서가 쓰여진 장소, 어떤 문서나 메타데이터로부터 온 것인지를 나타내는 범위가 다중으로 있을 때 이를 가능케 하도록 하는데 주 목표를 두고 있다. 이를 통하여 시간적 텍스트 마이닝, 시공 텍스트 마이닝, 저자 주제 분석, 교차 수집 비교 분석과 같은 여러 흥미로운 마이닝 작업에 적용할 수 있도록 하였다. (반)구조화된 텍스트에서 유용한 정보를 발견하는 것과 같은 기존 텍스트 마이닝의 문제점은 오로지 자유로운 자연어 문서가 아닌 구조화된 데이터베이스의 형태에서만 사용할 수 있었다. 이러한 문제를 해결하기 위하여 University of Texas, Austin에서는 흥미로운 관계 수집을 위한 구조화된 데이터로 텍스트를 변환시키기 위하여 학습 정보 추출(Information Extraction; IE) 시스템을 이용하여 DISCOTEX(Discovery from Text Extraction)이라 불리는 텍스트 마이닝을 위한 프레임워크를 개발하였다. 이 프레임워크에서 IE는 중요한 역할을 하는데 이를 위하여 RAPIER(Robust Automated Production of Information Extraction Rules)와 BWI(Boosted Wrapper Induction) 두 방법을 실제 구현에 적용하였으며 이를 통하여 추출된 데이터를 KDD(Knowledge Discovery from Databases) 툴을 이용하여 마이닝하도록 하였다. 이 IE와 KDD 두 가지를 결합하여 사용할 수 있도록 함으로써 전반적인 텍스트 마이닝 성능 향상에 효과가 있음을 보이고 있다. 그림1. IE기반의 텍스트 마이닝 프레임워크 (출처: Text Mining with Information Extraction)
Effective Pattern Discovery for Text Mining IEEE Transactions on, Knowledge and Data Engineering, Volume: 24, Issue: 1 http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5611523 A Mixture Model for Contextual Text Mining University of Illinois at Urbana-Champaign http://sifaka.cs.uiuc.edu/czhai/pub/kdd06-mix.pdf Text Mining with Information Extraction University of Texas, Austin http://www.cs.utexas.edu/~ml/papers/discotex-melm-03.pdf