메뉴판 인식 - MenuBoard Recognition For foreign

Developed Program/Windows Mobile 2010. 10. 19. 18:10


인터페이스쪽에서의 특징이라면
먼저 Camera 와 Image, 양쪽 입력영상을 사용하는데 있겠다.
Windows Mobile의 카메라 여는 함수를 이용, 메뉴판을 캡쳐
(preprocessing이 좀 허술해서 제대로 하려면 실제 배경이 있는 메뉴판에서 텍스트 디텍션을 해야겠지만 
A4에 메뉴만 인쇄하여 이를 이용한다) 하여 이진화, 분할 , 인식, DB결과 출력을 거친다.

한글의 자모분리에서 떨어진 문자는 영상처리에서 흔히들 사용하는
Labeling(Connected Component) 알고리즘을 이용해서 쉽게 분리할 수 있지만

Labeling Algorithm



와 같이 연결성이 있는 화소들에 고유 숫자를 매기는 알고리즘.

필자는 GrassFire(잔디에서 불이 퍼져나가는 모양과 유사하다하여 붙여진 이름, 일종의 재귀 함수)를 이용했었다.

'거' 와 같이 자음과 모음이 접촉 되어 있는 경우 이를 분리할 알고리즘이 문제였다.
Fuzzy - 인공지능 -  같은 방법을 이용해 학습시켜 분리할 수도 있지만 뉴런 쪽을 전혀 배운 적이 없었기 때문에 다른 방법을 이용해야 했다.

여러 논문들을 찾아보고 난 뒤에 이용할 만한 정보를 얻을 수 있었는데,
한글의 유형을 분리한 뒤,특정 유형에 따라 나눈 것에서 부터 시작했다.

한글의 유형



만약 1 유형이라면 접촉모음은 반드시 수직모음이다.
2 유형에서 접촉모음이 있다면 그 모음은 반드시 수평모음이다.
그렇다면 자음과 모음이 만나는 점에서 쪼개버리면 된다.


유형을 나누는 부분도 꽤 골치가 아픈데, 유료 논문의 알고리즘인만큼 여기서 언급하기는 곤란하고, 궁금하다면 직접 돈주고 구매하기 바란다. ( 저 같은 경우는 학교에서 미리 다 결제를 해놨기 때문에 별도 요금없이 볼 수 있었습니다 )




위 이미지는 자모를 분리한 결과이다.


최종 산출물의 결과는
슬라이드 쇼를 확인하기 바란다.

                                    
012345678


직접 개발한 프로그램 - JNU EYE

Developed Program/IPhone 2010. 9. 2. 23:26
The Iphone Application JNUEYE is used in Univ's campus,korea.
Because of our mistake, the program is saying that "this program's language is English"  in Itunes.
But it ISN'T TRUE, Actually ONLY USED IN KOREAN'S UNIVERSITY, and DOESN'T USE ENGLISH.
of course you can download and Install, even if It doesn't work propery.
I'm very sorry for this problem. if you have any question, plz let me know..




JNU EYE를 아는 사람이 있을까 ?
전남대 학생이라도 아마 대부분 모를거라고 생각한다..(ㅠ_ㅠ)

연구실 동료들과 처음 만든 아이폰용 앱(application)이었는데,
프로그램을 올릴때 애플 사이트를 이용해 본적이 없어..(라고 쓰고 영어에 약해서라고 읽는다) 실수로 ..
language가 English로 설정되어 버렸다 ;;

몇일전에 히트수를 봤더니 70명정도 였는데, 아마 대부분 외국인이 AR(Augumented Reality - 증강현실) 이라는 사실에 신기해 다운받아보지 않았을까 생각한다 . -ㅅ-

어쨌든 이렇게 망하긴했지만 개인적으로 많은걸 배웠고, 아이폰용 프로그램을 처음 만들었다는 걸 기념하기 위해, 그리고 혹시나 JNU EYE가 어떤 프로그램인지 검색해보셨을지도 모르는 외국인유저를 위해 포스팅하기로 결정했다.

KT 호남 무선마케팅에서 전남대 학생을 대상으로 어플 개발대회를 개최했었는데,
그 2위 수상작이다
   
 

2위라서 별로 스포트라이트도 받지못하고.. 뭐 그랬다 ㅋ
아무튼.. 이 프로그램은 AR을 이용하는 대부분의 프로그램이 그렇듯 오브제 프로그램이다.

오브제 프로그램이라하면..  TV CF를 생각해보면 간단하다. 요즘 스마트폰의 CF라하면, 대부분 광고하고 있는 프로그램이다.
예를들어 무슨 모델인진 기억안나는데, 공항에서 카메라가 열린상태에서 대화를 하던 CF, 애쉬튼 커처의 선글라스를 찾는 CF에서 로드뷰와 같이 실제 카메라 영상위에 길이 그려진 장면등의 프로그램. 그 프로그램과 같은 류이다 .

사실 정통 증강현실이라하면 영상처리를 해서 ~ 이 마커에서는 이 이미지를~ 요 마커에서는 저 이미지를~ 뿌리고 해야겠지만.
어쨌든 오브제 프로그램은 저런식이다.

 처음 켜면, 카메라가 열리고, GPS를 이용해서 현재 위치를 파악하고, Compass를 이용해서 현재 보고 있는 방향을 알아내어 적절한 수식으로 우리대학..(이미 다 들통난 학력.. ㅡㅡ;;;)의 주변 시설로의 길을 안내하는 프로그램이다.

카메라위에 이미지를 올리는 AR부분은 사실 IPhone SDK 에서 좋은 기능을 제공해서 어렵지 않게 만들수 있었다.

<<  처음 실행시키고 기본 뷰 >>



<< 카테고리 검색>>


복사실, 자판기, 카페, ATM(은행), 상징물, 정류장등을 찾을수 있도록 카테고리별 검색기능도 있었다.

<< 탐색 >>

물론 특정 건물 명칭으로 검색하는 기능도 있었다. 현재 보고있는 곳에서 왼쪽에 있으면 왼쪽에,
오른쪽에 있으면 오른쪽에 화살표가 생긴다.

뭐 전대 지리를 모르는 사람이라면 나름, 유용한 프로그램이라고 자신한다 ㅋ

IPhone 어플 JNU_Eye 다운받기, 상세보기

http://itunes.apple.com/kr/app/jnueye/id383583116?mt=8