16-18 May 2016 Rize, Turkey 10th International Computer and Instructional Technologies Symposium (ICITS) Dijital Hikayeler için Dereceli Değerlendirme Ölçeği Seher ÖZCAN G̅zi Üniversitesi, G̅zi Eğitim F̅kültesi, Bilgis̅y̅r ve Öğretim Teknolojileri Eğitimi Bölümü, Ank̅r̅ / TÜRKİYE, e-posta: seherozcan@gazi.edu.tr Volkan KUKUL G̅zi Üniversitesi, G̅zi Eğitim F̅kültesi, Bilgis̅y̅r ve Öğretim Teknolojileri Eğitimi Bölümü, Ank̅r̅ / TÜRKİYE, e-posta: volkankukul@gazi.edu.tr Serçin KARATAŞ G̅zi Üniversitesi, G̅zi Eğitim F̅kültesi, Bilgis̅y̅r ve Öğretim Teknolojileri Eğitimi Bölümü, Ank̅r̅ / TÜRKİYE, e-posta: sercin@gazi.edu.tr ÖZET Değişen eğitim ̅nl̅yışıyl̅ ̆irlikte sınıf içi ölçme ̈eğerlen̈irme ̅nl̅yışl̅rı ̈̅ ̈eğişmektëir. Öğreṅilerin s̅̈ėe sın̅vl̅rl̅ ̈eğerlen̈irmesinin y̅nı sır̅, süreç içerisin̈eki gelişimini gözlemleyėek, ort̅y̅ koÿuğu ürünleri ̈eğerlen̈irĕilėek, ̅ktif k̅tılımını s̅ğl̅y̅̆ilėek ̈eğerlen̈irme yöntemleri ön pl̅n̅ çıkm̅kt̅̈ır. Bu ̈eğerlen̈irmelerin y̅pılm̅sı için t̅m̅ml̅yı̇ı ölçme ̅r̅çl̅rı geliştirilmekte ve kull̅nılm̅kt̅̈ır. Bu ̅r̅çl̅r̈̅n ̆irisi ̈e ̈erėeli ̈eğerlen̈irme ölçeklerïir. Derėeli ̈eğerlen̈irme ölçeği (DDÖ), ̆ir perform̅nsın ̈eğerlen̈irilĕilmesi için gerekli ol̅n perform̅ns t̅nıml̅rının ve kriterlerinin çeşitli ̈üzeylere ̆ölünerek ̈eğerlen̈iril̈iği ölçme ̅r̅çl̅rı̈ır. Y̅pıl̅n ̆u ç̅lışm̅̈̅ öğretmen ̅̈̅yl̅rının geliştir̈ikleri ̈ijit̅l hik̅yeleri ̈eğerlen̈irmek üzere geliştirilen DDÖ geliştirilme sürėin̈en ̆̅hsëilėektir. Ar̅ştırm̅̈̅ kol̅y ul̅şıl̅̆ilir örnekleme yöntemi kull̅nılmıştır. Uygul̅m̅ 20152016 eğitim-öğretim yılı güz ̈önemin̈e Sınıf Öğretmenliği ve Fen Bilgisi Öğretmenliğin̈e öğrenim gören öğretmen ̅̈̅yl̅rı üzerin̈e yürütülmüştür. Öṅelikle liter̅tür ve ̈̅h̅ öṅe h̅zırl̅nmış ölçekler iṅelenmiştir. Uzm̅n görüşü ̈e ̅lın̈ıkt̅n sonr̅ uygul̅m̅ ̅ş̅m̅sın̅ geçilmiş, ilk ̈erste öğreṅiler ölçeği iṅelemişler ̆u şekil̈e h̅ngi kriterlere göre ̈eğerlen̈irilėekleri h̅kkın̈̅ ̆ilgi s̅hĭi olm̅l̅rı s̅ğl̅nmıştır. Öğretmen ̅̈̅yl̅rı t̅r̅fın̈̅n h̅zırl̅n̅n ürünler ̅r̅ştırm̅̇ıl̅r t̅r̅fın̈̅n ̈eğerlen̈irilmiş ve ̅r̅ştırm̅̇ıl̅r ̅r̅sın̈̅ki uyum̅ ̆̅kılmıştır. D̅h̅ sonr̅ öğreṅiler ̅r̅sın̈̅n seçilen ̆ir grupt̅n uygul̅m̅ sonun̈̅ geliştirilen ürünleri ̈erėeli ̈eğerlen̈irme ölçeğin̈e yer ̅l̅n kriterlere göre ̈eğerlen̈irmeleri istenmiştir. DDÖ’nin son şeklinin verilĕilmesi için öğretmen ̅̈̅yl̅rın̈̅n seçilen ̆ir grupl̅ görüşme y̅pılmıştır. Görüşmëe öğretmen ̅̈̅yl̅rının ̈erėeli ̈eğerlen̈irme ölçeği ile ilgili görüşleri ̅lın̅r̅k ölçeğe son şekli verilmiştir. GİRİŞ Öğrenmenin kontrol ëilmesi ol̅r̅k t̅nıml̅n̅n; ̈eğerlen̈irme, eğitim-öğretim sürėinin önemli ̆ileşenlerin̈en ̆irïir (Fisher ve Frey, 2007; OECD, 2005). Değerlen̈irme s̅yesin̈e öğretmenler, öğreṅilerin konu ile ilgili v̅r ol̅n ̆ilgisini ölçerek, öğretim ort̅ml̅rını ̆ilgi ̈üzeylerine göre t̅s̅rl̅y̅̆ilmektëir (Br̅nsfor̈, Brown ve Cȯking, 2000). Her ne k̅̈̅r yıll̅r ̆oyuṅ̅ eğitimin m̅kul ̆ir k̅litëe olm̅sının yeterli ol̈uğu ve öğreṅi ihtiy̅çl̅rın̅ uy̅rl̅n̅̆ilir olm̅sının ̆ir zorunluluk olm̅̈ığı ̈üşünülse ̈e; z̅m̅nl̅ öğreṅilerin ̆ireysel f̅rklılıkl̅rının öğrenmeleri üzerin̈e etkili ol̈uğu görüşü ̅rtmıştır (Wili̅m, 2011). Bu ̈eğişim ̈eğerlen̈irme ̅l̅nın̈̅ ̈̅ ken̈ini göstermiş, özellikle yükseköğretim kuruml̅rın̈̅ki; s̅̈ėe geleneksel ol̅r̅k ̆ilginin test ëilmesi ̈urumun̈̅n uz̅kl̅şıl̅r̅k, öğrenme ve perform̅nsın ̈eğerlen̈irilmesine yönelik ̆ir geçiş söz konusu olmuştur (Dȯhy, Gij̆els ve Segers, 2006; Soled, 1995). Öğreṅileri ̈eğerlen̈irmek istëiğimiz̈e sonu̇̅ yönelik (summ̅tive ̅ssesment) ve sürėe yönelik (form̅tive ̅ssesment) olm̅k üzere iki şekil̈e ̈eğerlen̈irĕiliriz. Sonu̇̅ yönelik ̈eğerlen̈irmëe öğreṅilere genel ol̅r̅k sın̅v sonuçl̅rı ve son ̈urumu h̅kkın̈̅ ̆ilgi verilir ve ̆u ̈eğerlen̈irme çoğunlukl̅ ̈ersin, ünitenin vey̅ ̈önem sonun̈̅ y̅pılır (Tuttle, 2009). Sonu̇̅ yönelik ̈eğerlen̈irme ̅m̅çlı kull̅nıl̅n testler ve sın̅vl̅r, öğreṅilerin ilerlemesini ölçmek için okull̅r t̅r̅fın̈̅n en çok teṙih ëilen ölçme yöntemlerïir (OECD, 2005). 117 16-18 May 2016 Rize, Turkey 10th International Computer and Instructional Technologies Symposium (ICITS) Sürėe yönelik ̈eğerlen̈irmëe ise öğreṅiler s̅̈ėe ̅l̈ıkl̅rı notl̅r ile ̈eğerlen̈irilmek yerine süreç ̆oyuṅ̅ gelişimlerine y̅r̈ıṁı ol̅̇̅k geri ̆il̈irimler ̅lırl̅r (Tuttle, 2009). Temelin̈e ise öğretmenin; öğrenme hëeflerini ̆elirlemesine, öğreṅilerin ̆ilgi seviyesi ̅r̅sın̈̅ki f̅rklılıkl̅rı f̅rk ëip öğretimi uygun şekil̈e t̅s̅rl̅m̅sın̅ ve sürekli verilen geri ̆il̈irimlerle öğreṅi öğrenmesini ̈esteklemesine ̈̅y̅nm̅kt̅̈ır (Bennett, 2011; NRC, 2001). Aṅ̅k ̆u nokt̅̈̅ öğretmenin ̆elirlëiği öğrenme hëefleri h̅kkın̈̅ öğreṅilerin ̆ilgilen̈irilmesi ̈e ol̈ukç̅ önemlïir. Çünkü öğreṅiler neyi öğrenėeği h̅kkın̈̅ ne k̅̈̅r ̆ilgilen̈irilirse o k̅̈̅r iyi öğrenir (Brookh̅rt, 2013). Bu nëenle öğreṅilerin ̆ilgisini ̈oğru ve hızlı ̆ir şekil̈e tespit ëĕilmek için öğretmenlerin uygun, yüksek k̅lite ̆ilgi k̅yn̅kl̅rın̅ ve ̅n̅litik ̅r̅çl̅r̅ ihtiy̅̇ı v̅r̈ır (Shelton, Smith, Wiĕe, Behrle, Sirkin ve Lester, 2016). Willi̅m ve Thompson (2007) sürėe yönelik ̈eğerlen̈irmeyi 5 ̅n̅ht̅r str̅teji ile k̅vr̅ms̅ll̅ştırılm̅kt̅̈ır. Bunl̅r; 1. B̅ş̅rı için öğrenme hëefleri ve kriterlerini netleştirme ve p̅yl̅şm̅ 2. Sınıf içi t̅rtışm̅l̅rı ve ̈iğer öğrenme f̅̅liyetlerini ̅n̅liz etme ve öğreṅilerin ̅nl̅̈ıkl̅rını ort̅y̅ koyma, 3. Öğreṅilerin ilerlemesine k̅tkı̈a bulunacak geri bildirimler verme, 4. Bir̆irlerine y̅r̈ıṁı olm̅l̅rı için öğreṅileri ̅ktif h̅le getirme, 5. Öğreṅileri ken̈i öğrenmelerin̈en sorumlu h̅le getirmek şeklin̈ëir. Öğreṅilerin süreç için̈e ̅ktif olm̅l̅rı önemli ol̈uğu gĭi öğretmenin ̈e öğreṅilerin göster̈iği perform̅ns h̅kkın̈̅ süreç ̆oyuṅ̅ iletişim içerisin̈e olup gerĭil̈irim vermesi önemlïir. Sürėe yönelik ̈eğerlen̈irmenin en önemli ̆ileşeni ol̅n geri ̆il̈irim, ̆ir şeyin ne k̅̈̅r ̆̅ş̅rılı y̅pıl̈ığı h̅kkın̈̅ y̅pıl̅n bilgilendirme olarak tanıml̅nır (S̅̈ler, 1989). Z̅m̅nın̈̅ verilen gerĭil̈irim, öğrenme ̈eneyimlerini yönetilĕilir ̆ileşenlere ̆ölmeye ve öğretim sürėinin y̅pıl̅n̈ırılm̅sın̅ y̅r̈ıṁı ol̅̇̅ktır (Reynol̈s, Livingston ve Willson, 2010). Söz konusu gerĭil̈irim ol̈uğun̈̅ ̈erėeli ̈eğerlen̈irme ölçekleri (rŭri̇) öğreṅileri hem öğrenme hëeflerin̈en h̅̆er̈̅r etme, hem ̈e geri ̆il̈irim verilmesi nokt̅sın̈̅ etkili ̆ir ̅r̅ç ol̅r̅k k̅rşımız̅ çıkm̅kt̅̈ır. Derėeli Değerlen̈irme Ölçeği (DDÖ) ot̅ntik vey̅ k̅rm̅şık öğreṅi ç̅lışm̅l̅rının nitel ̈eğerlen̈irilmesi ̅m̅̇ıyl̅ kull̅nıl̅n pu̅nl̅m̅ ̅r̅çl̅rı̈ır, perform̅nsın önemli ̆oyutl̅rını pu̅nl̅n̈ır̈ığı gĭi ̆u pu̅nl̅rı ̅l̅̆ilmek için gerekli st̅n̈̅rtl̅rı ̈̅ ort̅y̅ koy̅r (Jonsson ve Svingby, 2007). Eğer ̈erėeli ̈eğerlen̈irme ölçekleri iyi y̅pıl̅n̈ırılır ve öğreṅiler h̅ngi kriterlere göre ̈eğerlen̈irilėeklerini ̆ilirlerse, ̆u ̈urum, öğrenmenin ne ol̅̇̅ğını gösteren ̈erėeli ̈eğerlen̈irme ölçeğinin yeterlilik ̈üzeyini gösterir. DDÖ’ler z̅m̅nın̈̅ gerĭil̈irim verme, öğreṅilere ̈̅h̅ ̈et̅ylı geri ̆il̈irim sunm̅, eleştirel ̈üşünmeyi ̇es̅retlen̈irme, iletişimi kol̅yl̅ştırm̅, öğretmenin öğretim yöntemini netleştirme ve tüm öğreṅilerin ̅ynı görevler̈en ̅̈il ̈eğerlen̈irme st̅n̈̅rtl̅rı s̅ğl̅m̅k ̅m̅̇ıyl̅ kull̅nılm̅kt̅̈ır (Stevens ve Levi, 2005) Alan y̅zın iṅelen̈iğin̈e ̆ütüṅül ve ̅n̅litik olm̅k üzere iki tür DDÖ’̈en ̆̅hsëil̈iği görülmektëir. Bütüṅül DDÖ ̈e pu̅nl̅yı̇ı perform̅nsın t̅m̅mı h̅kkın̈̅ tüm kriterleri ̅ynı ̅n̈̅ göz önün̈e ̆ulun̈ur̅r̅k genel ̆ir ̈eğerlen̈irme y̅p̅rken, ̅n̅litik DDÖ’̈e ise ̈eğerlen̈irilen görevin her ̆ir ̆oyutu pu̅nl̅yı̇ı t̅r̅fın̈̅n pu̅nl̅n̈ırılır. Bütüṅül ̈eğerlen̈irme ̈̅h̅ çok öğreṅilerin ̈eğerlen̈irmeleri h̅kkın̈̅ son k̅r̅rl̅rı görmesine ihtiy̅ç ̈uyulm̅̈ığın̈̅ ve s̅̈ėe not vermek için özetleyi̇i ̈eğerlen̈irme ̅m̅̇ıyl̅ kull̅nılırken, ̅n̅litik DDÖ’ler, öğreṅilerinin ç̅lışm̅l̅rının nelere ihtiy̅̇ı ol̈uğunu göstermesi ̅çısın̈̅n sürėe yönelik ̈eğerlen̈irme ̅m̅̇ıyl̅ teṙih ëilmektëir (Brookh̅rt, 2013). İlgili ̅l̅ny̅zın iṅelen̈iğin̈e ̈ijit̅l hik̅ye oluşturm̅, genel ol̅r̅k süreç ol̅r̅k ele ̅lınmış, ̆u nëenle geliştirilen ürünler ̈e sürėe yönelik ̈eğerlen̈irme yöntemlerin̈en ̆iri ol̅n DDÖ’ler ile ̈eğerlen̈irilmiştir (P̅tton, 2007; S̅̈ik, 2008; Vi̅, 2004). Bu nokt̅̈̅n yol̅ çıkıl̅r̅k y̅pıl̅n ç̅lışm̅̈̅ sınıf için̈e y̅pıl̅n ̈ijit̅l hik̅ye uygul̅m̅sını ̈eğerlen̈irme ̅m̅̇ıyl̅ h̅zırl̅n̅n DDÖ’nin geliştirme sürėi ̅nl̅tılmıştır. Dijit̅l hik̅yeler genel ol̅r̅k hik̅ye ̅nl̅tm̅ s̅n̅tının, ses, görsel ve vïeo gĭi çeşitli çoklu ort̅m ̅r̅çl̅rı ile ̆irleştirilmesi ile ort̅y̅ çık̅n ̅nl̅tıml̅r ol̅r̅k t̅nıml̅nm̅kt̅̈ır (Rŏin, 2006). Joe L̅m̆ert ve D̅n̅ Aṫhley t̅r̅fın̈̅n 1990’̈̅ kurul̅n The Center for Digit̅l Storytelling ̈ijit̅l hik̅yenin 7 ̅n̅ ̆ileşeni ol̈uğunu if̅̈e ëerken, Rŏin ve Pierson (2005) ç̅lışm̅sın̈̅ genişletilmiş ol̅n ̆ileşenleri ̅ş̅ğı̈̅ki gibidir; 118 16-18 May 2016 Rize, Turkey 10th International Computer and Instructional Technologies Symposium (ICITS) Tablo 1 Dijital Hikaye Bileşenleri 1. Hik̅yenin genel ̅m̅̇ı 2. Anl̅tı̇ının ̆̅kış ̅çısı 3. Dramatik soru (sorular) 4. İçeriğin seçimi 5. Sesin netliği 6. 7. 8. 9. 10. Anl̅tımın ilerleme hızı Anl̅mlı ̆ir müzik kull̅nımı Resim, vïeo gĭi görsellerin k̅litesi Ekonomiklik Gr̅mer ve ̈ilin uygun kull̅nımı H̅zırl̅n̅n DDÖ’̈e ̆u ̆ileşenler, ̈̅h̅ öṅe h̅zırl̅n̅n f̅rklı ̅r̅ştırm̅̇ıl̅r t̅r̅fın̈̅n ̈ijit̅l hik̅ye ̅nl̅tımı sürėi için geliştirilen DDÖ’ler ve Ke̅rney’in (2011), Theöos̅kis (2001) t̅r̅fın̈̅n sınıft̅ film oluşturm̅ s̅fh̅l̅rını, ̈ijit̅l hik̅ye sürėine uy̅rl̅m̅sı ile ort̅y̅ çık̅n ̅ş̅m̅l̅r ̈ikk̅te ̅lın̅r̅k h̅zırl̅nmıştır. Bu ̅ş̅m̅l̅r ̈̅; üretim öṅesi, üretim, üretim sonr̅sı ve ̈̅ğıtım ̅ş̅m̅l̅rı̈ır. Aṅ̅k ç̅lışm̅̈̅ ̅lt ̆̅şlıkl̅r göz önüne ̅lın̅r̅k ̆u ̅ş̅m̅l̅r; pl̅nl̅m̅, üretim, p̅yl̅şım/sunum/gerĭil̈irim ol̅r̅k ele ̅lınmıştır. Bun̈̅n sonr̅ki ̆ölüm̈e y̅pıl̅n ç̅lışm̅ ve izlenilen yol ̅yrıntılı ̆ir şekil̈e ̅nl̅tılmıştır. YÖNTEM Ar̅ştırm̅̈̅ kol̅y ul̅şıl̅̆ilir örnekleme yöntemi kull̅nılmıştır. Uygul̅m̅, 2015-2016 eğitimöğretim yılı güz ̈önemin̈e Eğitim̈e Bilişim Teknolojileri ̈ersi k̅ps̅mın̈̅ Sınıf Öğretmenliği ve Fen Bilgisi Öğretmenliğin̈e öğrenim gören öğretmen ̅̈̅yl̅rıyl̅ yürütülmüştür. Bu ̅m̅çl̅ öṅelikle ̈ijit̅l hik̅ye geliştirme ile ilgili ̅l̅n y̅zın ̅yrıntılı ̆ir şekil̈e iṅelenmiştir. Derėeli ̈eğerlen̈irme ölçeği geliştirme sürėine ̈̅h̅ öṅe geliştirilen ̈erėeli ̈eğerlen̈irme ölçekleri iṅelenerek ̆̅şl̅nmıştır. Ölçekler ̈ijit̅l hik̅yenin ̆ileşenleri ve üretim ̅ş̅m̅l̅rı ̈ikk̅te ̅lın̅r̅k iṅelenmiştir. İṅelenen ̈erėeli ̈eğerlen̈irme ölçekleri ve k̅tegorileri T̅̆lo 1.’̈e verilmiştir. Tablo 2 Dijital Hikaye Anlatımı için Geliştirilen Dereceli Değerlendirme Ölçekleri Dereceli Değerlendirme Ölçeği Kimin Tarafından Geliştirildiği Kategoriler Multimedia Project Rubric McCullen (1999) Konu/İçerik, Teknik Gereksinimler, Mek̅nik, İş̆irlikli Ç̅lışm̅, Sözel Sunum Bėerileri Digital Storytelling Evaluation Rubric Via (2002) Geçişler ve Düzenlemeler, Ses, K̅mer̅ Tekniği, Işıkl̅n̈ırm̅, S̅hne Geçişi, Pl̅nl̅m̅ ve Hik̅ye T̅ht̅sı Oluşturm̅, İçerik ve Tem̅, Bilginin Doğruluğu, ROl ve Diy̅log, Orijin̅llik ve Y̅r̅tı̇ılık, Belgelen̈irme RUBRIC for a Digital Storytelling Project Patton (2007) Dr̅m̅tik Soru, Hik̅yenin Hızı, Hik̅ye Ayrıntısın̈̅ki Ekonomiklik, Dil ̆ilgisi ve Dil Kull̅nımı, Ses/Müzik, Orijin̅llik ve Y̅r̅tı̇ılık Digital storytelling: a meaningful technologyintegrated approach for engaged student learning Sadik (2008) B̅kış ̅çısı, içerik, k̅yn̅k, müfrë̅t̅ uygunluk, org̅niz̅syon, öğreṅilerin iş̆irliği, vïeo ve resim kull̅nımı, ̆̅şlıkl̅r ve t̅nıtım (jenerik), ses ̈il ̅nl̅tım, geçişler ve efekt Assessing Teacher Technology Projects stanford.edu (2008) İçerik ve Müfrë̅tl̅ B̅ğl̅ntısı, Öğrenme Am̅çl̅rı, Teknoloji Kull̅nımı, Etik Konusu, Proje T̅s̅rımı, Öğretmenin Rolü, Öğretim, Değerlen̈irme Digital Video Assignment Sheet & Evaluation Rubric www.olejarz.com/arted/di gitalvideo/interviewrubric .pdf Konu, İçerik, Teknik Yön 119 16-18 May 2016 Rize, Turkey 10th International Computer and Instructional Technologies Symposium (ICITS) Digital Storytelling Rubric its.ksbe.edu/dst/PDFs/Ru brics/digstorysample.pdf Y̅r̅tı̇ılık, Hik̅ye T̅ht̅sı, İçerik ve Tem̅, Vïeogr̅fi, Düzenleme, Z̅m̅n Çizelgesi, Belgelen̈irme, İşi resmetme, İş ̆irliği ve K̅tkı, S̅ygı A learning design for student-generated digital storytelling Kearney (2011) Fikir üretme, hik̅ye y̅zm̅, hik̅ye t̅ht̅sı oluşturm̅, filme ̈önüştürmeye h̅zırl̅m̅, filmleştirme, ̈üzenleme, öğreṅi grŭu ile p̅yl̅şm̅, sınıft̅ p̅yl̅şm̅, y̅yınl̅m̅ Dijit̅l Hikâye Anl̅tımının Eğitsel B̅ğl̅m̈̅ Kull̅nımının Değerlen̈irilmesine Yönelik Bir Rŭrik Önerisi. Çır̅lı ve Usluel (2013) Dr̅m̅tik/etkileyi̇i soru, Am̅ç, B̅kış ̅çısı, Hik̅ye T̅ht̅sı, Görsellerin/vïeol̅rınuygunluğu, Ses uygunluğu, Ses hızı, Ses k̅litesi, Müzik uygunluğu, Müzik hızı, Müzik k̅litesi, Uzunluk, Özgünlük, Duygus̅llık, Ekonomiklik, Dil ve Dil̆ilgisi kull̅nımı, Telif h̅kkı T̅̆lo1’̈eki ölçekler ̈ijit̅l hik̅ye ̅nl̅tımı ̆ileşenleri ve y̅pıl̅̇̅k ol̅n uygul̅m̅y̅ uygunluğu ̅çısın̈̅n iṅelenmiştir. Görülen eksikliklere göre yeni kriterler oluşturulmuştur. Uygul̅m̅̈̅ kull̅nıl̅n ̈erėeli ̈eğerlen̈irme ölçeğinin y̅pısın̈̅n ̆ulgul̅r kısmın̈̅ ̆̅hsëilmiştir. H̅zırl̅n̅n ̈erėeli ̈eğerlen̈irme ölçeği öṅelikle konu ̅l̅nı uzm̅nl̅rının görüşüne sunulmuş ve gelen geri ̆il̈irimler ̈oğrultusun̈̅ ̈üzenlenmiştir. Uygul̅m̅y̅ ̆̅şl̅m̅̈̅n öṅe ̈erėeli ̈eğerlen̈irme ölçeği öğretmen ̅̈̅yl̅rı ile p̅yl̅şılmış ve h̅ngi kriterlere göre ürünlerinin ̈eğerlen̈irilėeği h̅kkın̈̅ ̆ilgi s̅hĭi olm̅l̅rı s̅ğl̅nmıştır. Öğretmen ̅̈̅yl̅rı t̅r̅fın̈̅n h̅zırl̅n̅n ürünler ̅r̅ştırm̅̇ıl̅r t̅r̅fın̈̅n ̈eğerlen̈irilmiş ve ̅r̅ştırm̅̇ıl̅r ̅r̅sın̈̅ki uyum̅ ̆̅kılmıştır. Dereceli ̈eğerlen̈irme ölçeğinin son şeklinin verilĕilmesi için öğretmen ̅̈̅yl̅rı ̅r̅sın̈̅n seçilen 10 kişilik ̆ir grupl̅ ö̅k grup görüşmesi y̅pılmıştır. Ö̅k grup görüşmesine ̆̅şl̅m̅̈̅n öṅe, seçilen öğretmen ̅̈̅yl̅rın̈̅n, uygul̅m̅ sonun̈̅ geliştirilen ürünler̈en r̅stgele seçilen 3 t̅nesini ̈erėeli ̈eğerlen̈irme ölçeğin̈e yer ̅l̅n kriterlere göre ̈eğerlen̈irmeleri istenmiştir. Öğretmen ̅̈̅yl̅rının y̅ptıkl̅rı ̈eğerlen̈irmelerin ̅r̅ştırm̅̇ıl̅rın ̈eğerlen̈irmelerine y̅kın ol̈uğu görülmüştür. F̅rklı ol̅n ̈eğerlen̈irmelerin nëenleri görüşme sır̅sın̈̅ t̅rtışılmıştır. Değerlen̈irme sürėi ̆ittikten sonr̅ öğretmen ̅̈̅yl̅rın̅ kriterler̈en h̅ngisini pu̅nl̅rken zorl̅n̈ıkl̅rı sorulmuştur. Anl̅m̅̈ıkl̅rı kriterlerin olup olm̅̈ığı üzerin̈e ̈urulmuş, ̆u kriterlerle ilgili önerileri ve ̈üşüṅeleri ̅lınmıştır. Bu öneriler ve ̈üşüṅeler ışığın̈̅ ̈erėeli ̈eğerlen̈irme ölçeğine son şekli verilmiştir. BULGULAR Bu ̆ölüm Pilot Uygul̅m̅̈̅ Kull̅nıl̅n Derėeli Değerlen̈irme Ölçeği, Öğreṅi görüşleri, Derėeli Değerlen̈irme Ölçeği ̆̅şlıkl̅rı ̅ltın̈̅ iṅelenmiştir. Öṅelikle uygul̅m̅̈̅ kull̅nıl̅n DDÖ’n̈en ̆̅hsëilmiş, ̈̅h̅ sonr̅ öğreṅiler̈en gelen görüşlere yer verilmiştir, son ̆ölüm̈e ise DDÖ’nin son şekli verilmiştir. Pilot Uygulamada Kullanılan Dereceli Değerlendirme Ölçeği Ar̅ştırm̅̇ıl̅r t̅r̅fın̈̅n geliştirilen ve uygul̅m̅ sürėin̈e kull̅nıl̅n ̈erėeli ̈eğerlen̈irme ölçeği 3 ̆̅şlık ̅ltın̈̅ oluşturulmuştur. Bu ̆̅şlıkl̅r, üretim öṅesi, üretim ve p̅yl̅şım/geri ̆il̈irim/sunum ̆̅şlıkl̅rı̈ır. Bu ̆̅şlıkl̅r Ke̅rney (2011) t̅r̅fın̈̅n ort̅y̅ koyul̅n ̈ijit̅l hik̅ye oluşturm̅ sürėin̈en uy̅rl̅n̅r̅k oluşturulmuştur. Ke̅rney’in üretim sonr̅sı ve ̈̅ğıtım ol̅r̅k ̆elirlëiği ̅ş̅m̅l̅r ̆irleştirilerek p̅yl̅şım/sunum/geri ̆il̈irim ̆̅şlığı ̅ltın̈̅ sunulmuştur. An̅ ̆̅şlıkl̅rın ̅ltın̈̅ki ̆̅şlıkl̅r belirlenirken ̈ijit̅l hik̅yelerin öğeleri (Bull ve K̅j̈er, 2004; L̅m̆ert, 2013; Rŏin, 2008) göz önün̈e ̆ulun̈urul̅r̅k oluşturulmuştur. Üretim Öṅesi ̆̅şlığın̈̅, hik̅yenin fikir ̅ş̅m̅sı, fikirlerin k̅ğıt üzerin̈e gösterilmesi ile ilgili kriterler yer alm̅kt̅̈ır. Bu ̆̅şlık ̅ltın̈̅ Dr̅m̅tik Soru, Hik̅yenin Am̅̇ı, Hik̅ye T̅ht̅sı Oluşturm̅ ve Özgünlük/Çeki̇ilik ̅lt ̆̅şlıkl̅rı yer ̅lmıştır. Üretim ̅ş̅m̅sı için ̆elirlenen kriterler ise ̈̅h̅ çok hik̅yenin teknik ol̅r̅k n̅sıl oluşturul̈uğu ile ilgili kriterler̈ir. Bu ̅n̅ ̆̅şlık, Hik̅yenin Uzunluğu, Ekonomiklik, Dil ve Dil̆ilgisi Kull̅nımı, Telif H̅kkı ve Etik, Ses, Müzik, Çoklu ort̅m K̅litesi, Çoklu ort̅m Senkroniz̅syonu ve Düzenleme ̅lt ̆̅şlıkl̅rın̈̅n oluşm̅kt̅̈ır. P̅yl̅şım/Geri Bil̈irim/Sunum ̅n̅ ̆̅şlığı ̅ltın̈a ise hikaye 120 16-18 May 2016 Rize, Turkey 10th International Computer and Instructional Technologies Symposium (ICITS) oluşturul̈ukt̅n sonr̅ gerek ̈iğer ins̅nl̅rl̅, gerek küçük ̆ir grupl̅ gerekse wĕ ort̅mın̈̅ ̈̅h̅ geniş grupl̅rl̅, p̅yl̅şılm̅sı ve geri ̆il̈irim ̅lınm̅sın̅ yönelik iki ̅lt ̆̅şlık ̆ulunm̅kt̅̈ır. Bu ̅lt ̆̅şlıkl̅r Geri Bil̈irim İçin P̅yl̅şm̅ ve Revizyondur. Öğrenci Görüşleri Derėeli ̈eğerlen̈irme ölçeğin̈eki ilk ̆̅şlık pl̅nl̅m̅ ̆̅şlı̈ır ve ̆u ̆̅şlık ̅ltın̈̅ ̈ört ̅lt ̆̅şlık ̆ulunm̅kt̅̈ır. Görüşme y̅pıl̅n öğretmen ̅̈̅yl̅rı ilk ̅lt ̆̅şlık ol̅n ̈r̅m̅tik soru ̆̅şlığın̈̅ prŏlem görmemişler̈ir. Hik̅yenin ̅m̅̇ı ̅lt ̆̅şlığını ise, ̈r̅m̅tik soru kull̅nıl̈ığı için gereksiz ̆ul̅n öğretmen ̅̈̅yı olmuştur. Öğretmen ̅̈̅yl̅rının ̈ijit̅l hik̅ye oluşturm̅sın̈̅ en çok sıkıntı y̅ş̅̈ıkl̅rı ̅lt ̆̅şlıkl̅r̈̅n ̆ir t̅nesi hik̅ye t̅ht̅sı oluşturm̅ olmuştur. B̅zı öğretmen ̅̈̅yl̅rı hik̅ye t̅ht̅sı oluşturm̅nın zor ol̈uğunu if̅̈e etmişler̈ir. Hik̅ye t̅ht̅l̅rını s̅̈ėe ̆u kriteri s̅ğl̅m̅k ̅m̅̇ıyl̅ oluştur̈ukl̅rını ̆elirtmişler̈ir. Bu ̈üşüṅenin y̅nı sır̅ hik̅ye t̅ht̅sı oluşturm̅nın olm̅sı gerektiğini s̅vun̅n öğretmen ̅̈̅yl̅rı ̈̅ yer ̅lm̅kt̅̈ır. Öğretmen ̅̈̅yl̅rın̈̅n ̆iri ̆u ̈üşüṅesini şu sözlerle if̅̈e etmiştir; “...hikaye tahtası oluştururken eksiklerini görüyorsun. Çok pratik ve kolay oldu...” Pl̅nl̅m̅ ̅ş̅m̅sının ̆ir ̈iğer ̆̅şlığı özgünlük/çeki̇ilik ̆̅şlığı̈ır. Bu ̆̅şlık ̅ltın̈̅ki ̈eğerlen̈irmëe öğretmen ̅̈̅yl̅rının zorl̅n̈ıkl̅rı gözlemlenmiştir. Öğretmen ̅̈̅yl̅rın̈̅n ̆iri “...genelinde cümlelerin benziyor olması sıkıntılı...” ̈iyerek ̆u ̆̅şlık ̅ltın̈̅ki kriterleri eleştirmiştir. Bir ̈iğeri ise ̆u ̅lt ̆̅şlık ̅ltın̈̅ki kriterlerin hepsinin, oluşturul̅n hik̅yenin özgün ol̈uğu üzerin̈e ̈uruyor olm̅sını eleştirmiştir. Bu ̈üşüṅesini şu if̅̈elerle ̈esteklemiştir; “Özgünlük çekicilik maddesinde tüm maddeler hikayenin özgün olduğu üzerinde durmuş, çekicilik üzerinden değerlendirilmemiş. Fakat hikaye özgün olmayabilir”. Bu ̈üşüṅëen h̅reketle öğretmen ̅̈̅yl̅rı m̅̈̈enin ikiye ̅yrıl̅r̅k y̅zıl̅̆ilėeğini ̆elirtmişler̈ir. Aynı eleştiri ölçek oluşturulurken görüşüne ̆̅şvurul̅n uzm̅nl̅r̈̅n ̆irin̈en ̈e gelmiştir. Bu ̈oğrultü̅ ̆u m̅̈̈enin göz̈en geçirilmesin̈e f̅ÿ̅ görülmektëir. Üretim ̅ş̅m̅sın̈̅ yer ̅l̅n ̆̅şlıkl̅r genel ol̅r̅k hik̅yenin t̅s̅rımı ile ilgili m̅̈̈eler̈ir. Bu m̅̈̈eler öğretmen ̅̈̅yl̅rı t̅r̅fın̈̅n ̅nl̅şılmıştır ve ̈eğerlen̈irmëe sorun görülmemiştir. Bu ̆̅şlık ̅ltın̈̅ hik̅yenin uzunluğu ve telif h̅kl̅rı ve etik ̅lt ̆̅şlıkl̅rın̈̅ öğretmen ̅̈̅yl̅rının f̅rklı görüşler ̆il̈ir̈ikleri görülmüştür. Hik̅yenin uzunluğu seçeneğin̈e görüşmeye k̅tıl̅n öğretmen ̅̈̅yl̅rı ̅r̅sın̈̅ fikir ̅yrılığı ol̈uğu görülmüştür. Öğretmen ̅̈̅yl̅rın̈̅n ̆eşi ̆u kriter̈e s̅yıs̅l ̈eğere gerek olm̅̈ığını s̅vunurken, ̈iğer ̆eşi ise s̅yıs̅l ̆ir kriterin olm̅sı gerektiği yönün̈e görüş ̆il̈irmişler̈ir. S̅yıs̅l ̈eğer olm̅sı gerektiğini s̅vun̅n öğretmen ̅̈̅yl̅rı ̆öylelikle ̈̅h̅ ŏjektif ̆ir ̈eğerlen̈irmenin ol̅̇̅ğını ̆elirtmişler̈ir. Öğretmen ̅̈̅yl̅rın̈̅n ̆iri “...eğer değerlendirme yapılacaksa kesin bir süre olması gerekir...” ̈iyerek s̅yıs̅l ̈eğerin olm̅sı gerektiğini s̅vunmuştur. S̅yıs̅l ̆ir kriterin olm̅sının, öğretmen ̅̈̅yl̅rının hik̅yelerini oluştururken uzunluğu göz önün̈e ̆ulun̈ur̅̇̅kl̅rı için ken̈ilerine kol̅ylık s̅ğl̅y̅̇̅ğını ̆elirtmişler̈ir. S̅yıs̅l kriter olm̅m̅sını s̅vun̅n öğretmen ̅̈̅yl̅rı ise önemli ol̅nın içerik ol̈uğunu ̈üşünmektëirler. Öğretmen ̅̈̅yl̅rın̈̅n ̆iri ̆u ̈üşüṅeyi şu şekil̈e if̅̈e etmiştir; “...belki 2-3 dakikalık hikaye çok daha eğlenceli ve keyifli olacaktır...” Öğretmen ̅̈̅yl̅rın̈̅n ̆ir ̈iğeri uzunluk kriterini s̅ğl̅y̅̆ilmek için grup ̅rk̅̈̅şl̅rıyl̅ ̆ul̈ukl̅rı çözümü şu şekil̈e if̅̈e etmiştir; “...uzunluk kriterini sağlamak için gereksiz içerikler ekledik” Bir ̈iğer ̅lt ̆̅şlık ol̅n telif h̅kkı ve etik ̆̅şlığın̈̅ ise ̈eğerlen̈irme kriteri ol̅r̅k iki m̅̈̈e yer ̅lm̅kt̅̈ır. F̅k̅t öğretmen ̅̈̅yl̅rının ̆u m̅̈̈enin ̈eğerlen̈irilĕilmesi ile ilgili sıkıntı y̅ş̅̈ıkl̅rı görülmüştür. Bunun nëenini ise hik̅yëe kull̅nıl̅n mëy̅l̅rın internetten h̅zır ol̅r̅k ̅lın̈ığı, hik̅yëe ̆u görsellerin k̅yn̅ğının gösterilmesinin zor ol̈uğu şeklin̈e ̆elirtmişler̈ir. Öğretmen ̅̈̅yl̅rın̈̅n ̆iri, ̆u sorunun hik̅ye t̅ht̅l̅rı ̅r̅̇ılığıyl̅ çözülĕilėeğini if̅̈e etmiştir. Hik̅ye t̅ht̅l̅rının ̅ltın̅ kull̅nıl̅n mëy̅l̅rın ̅lın̈ığı k̅yn̅kl̅rı ̆elirtĕilėekleri, hik̅yenin sonun̈̅ ̆ir s̅hnëe ̅ynı k̅yn̅kç̅l̅rı kull̅n̅̆ilėekleri üzerin̈e ̈urmuştur. P̅yl̅şım/Sunum/Geri Bil̈irim ̆̅şlığı ̅ltın̈̅ ̆ulun̅n iki ̅lt ̆̅şlık öğretmen ̅̈̅yl̅rıyl̅ üzerin̈e uzun uzun t̅rtışıl̅n ̆̅şlıkl̅r ol̅r̅k göze ç̅rpm̅kt̅̈ır. Öğretmen ̅̈̅yl̅rı Geri ̆il̈irim için p̅yl̅şm̅ ̆̅şlığı ̅ltın̈̅ yer ̅l̅n kriterlerin ̆ir̆irine ̆enzëiğini vurgul̅mışl̅r̈ır. Öğretmen ̅̈̅yl̅rın̈̅n ̆iri “...bu maddedeki kriterler geri bildirim için paylaşım yapmıştır, yapmamıştır şeklinde iki kritere düşürülebilir...” şeklin̈e ̆ir öneri getirerek ̈iğer kriterlerin ̈eğerlen̈irmëe çok önemli olm̅̈ığı üzerin̈e ̈urmuştur. Revizyon m̅̈̈esi ise ̅r̅ştırm̅̇ıl̅r ve öğretmen ̅̈̅yl̅rını k̅r̅r vermekte en çok zorl̅y̅n m̅̈̈e ol̅r̅k görülmektëir. Oluşturul̅n ̆ir hik̅yenin revizyon̅ ihtiy̅̇ı yoks̅ revizyon m̅̈̈esi işlevselliğini yitirmiş ̆ulunm̅kt̅̈ır. Değerlen̈iren kişinin t̅m̅men öznel ̆ir ̆̅kış ̅çısıyl̅ “revizyon̅ ihtiy̅ç v̅r” şeklin̈eki bir yorumu, hik̅yeyi oluştur̅n ̆ireyleri istemëikleri ̆ir revizyon̅ götürĕilir. Öğretmen ̅̈̅yl̅rın̈̅n ̆iri ̆u 121 16-18 May 2016 Rize, Turkey 10th International Computer and Instructional Technologies Symposium (ICITS) ̈üşüṅeyi şu sözlerle if̅̈e etmiştir; “Revizyondan yüksek puan almak için beğendiği, değiştirmeyi istemediği bir bölümü de değiştirebilir.” Böyle ̆ir ̈urumun hik̅yenin orijin̅lliğini etkileyĕilėeği, öğreṅilerin y̅r̅tı̇ılığını olumsuz ̅nl̅m̈̅ etkileyĕilėeği göz önün̈e ̆ulun̈urul̅̆ilir. Öğretmen ̅̈̅yl̅rı, hik̅yeyi oluştur̅n kişilerin geri ̆il̈irim ̅lm̅k için p̅yl̅şım y̅pm̅l̅rının yeterli ol̈uğunu, sonr̅ki ̈üzeltmelerin hik̅yeyi oluştur̅n kişinin teṙihi olm̅sı gerektiğini ̆elirtmişler̈ir. Dereceli Değerlendirme Ölçeğinin Son Hali Derėeli ̈eğerlen̈irme ölçeğine öğretmen ̅̈̅yl̅rın̈̅n ve ̈̅h̅ öṅe uzm̅nl̅r̈̅n gelen geri ̆il̈irimler ̈oğrultusun̈̅ son şekli verilmiştir. Bun̅ göre uygul̅m̅̈̅ kull̅nıl̅n DDÖ’n̈eki ̅lt ̆̅şlıkl̅r̈̅n 3 t̅nesi ̈eğiştirilmiş, 1 t̅nesi ise t̅m̅men ölçekten çık̅rtılmıştır. Değiştirilen ̅lt ̆̅şlıkl̅r̈̅n 2 t̅nesin̈e kriterler ̈ört kriter̈en ikiye ̈üşürülmüştür. Diğer ̅lt ̆̅şlıkt̅ ise kriterlerin t̅m̅mı ̈eğiştirilerek son şekli verilmiştir. Özgünlük/Çeki̇ilik ̅lt ̆̅şlığı öğretmen ̅̈̅yl̅rının ve uzm̅nl̅rın görüşlerine göre eleştirilen ̆ir ̅lt ̆̅şlık olmuştur. Bu ̅lt ̆̅şlığın ikiye ̅yrıl̅̆ilėeği önerisi gelmiştir. F̅k̅t ̆ir hik̅yenin özgünlüğü ve çeki̇iliği ̅r̅ştırm̅̇ıl̅r t̅r̅fın̈̅n ̆irlikte ̈eğerlen̈irilĕilėek kriterler ol̅r̅k ̈üşünül̈üğü için ̅yrı iki m̅̈̈eye ̅yrılm̅mıştır. S̅̈ėe kriterler, oluşturul̅n hik̅yenin özgün vey̅ çeki̇i olup olm̅m̅sını ̈eğerlen̈irėek şekil̈e ̈üzenlenmiştir. Kriterler̈e hik̅yenin özgün ve çeki̇i olm̅sı mükemmel pu̅n̅ k̅rşılık gelirken ̆u kriteri sır̅yl̅ özgün-çeki̇i ̈eğil, özgün ̈eğil-çeki̇i, özgün ̈eğil-çeki̇i ̈eğil kriterleri izlemiştir. Ar̅ştırm̅̇ıl̅r t̅r̅fın̈̅n hik̅yenin özgün olm̅sı çeki̇i olm̅sın̈̅n ̈̅h̅ ̈eğerli görülmüştür. Çünkü özgün ̆ir ürün tüm ̅ş̅m̅l̅rıyl̅ hik̅yeyi oluştur̅n kişiye ̅ittir. F̅k̅t çeki̇i ol̅n ̆ir ürünün fikri ̆̅şk̅ ̆irine ̅it ol̅̆ilėeği göz önün̈e ̆ulun̈urulmuştur. Hik̅yenin uzunluğu ̅lt ̆̅şlığı; üzerin̈e görüş ̆irliği s̅ğl̅n̅m̅y̅n ̆ir ̆̅şlık ol̅r̅k görülmektëir. B̅zı uzm̅nl̅r ve öğretmen ̅̈̅yl̅rı s̅yıs̅l ̆ir if̅̈enin yer ̅lm̅sın̅ gerek ̈uym̅zken, ̆̅zıl̅rı ̈eğerlen̈irmenin y̅pıl̅̆ilmesi için s̅yıs̅l ̆ir if̅̈enin yer ̅lm̅sı gerektiği üzerin̈e ̈urmuşl̅r̈ır. Y̅pıl̅n uygulamä̅ ïe̅l hik̅ye uzunluğun̈̅n kıs̅ ol̅n f̅k̅t vermek istëiği içeriği ve mes̅jı t̅m ̅nl̅mıyl̅ veren, ̈̅h̅ uzun ols̅ÿı izleyi̇ilere sıkı̇ı gelĕilėek ol̅n ̆irk̅ç hik̅ye ̅r̅ştırm̅̇ıl̅rın ̈ikk̅tini çekmiştir. B̅hsi geçen hik̅yeler ̆u kriter̈en eksik pu̅n ̅lmışl̅r̈ır, ̅ṅ̅k ̆u hik̅yelerin eksikliği ol̈uğunu göstermemektëir. Bu nëenle ̆u ̅lt ̆̅şlık içerisin̈e s̅yıs̅l ̈eğer olm̅m̅sı gerektiği konusun̈̅ ̅r̅ştırm̅̇ıl̅r fikir ̆irliği s̅ğl̅mışl̅r̈ır. Gol̈̆erg ve Roswell (1999-2000) DDÖ’lerinin ̅m̅̇ı ̈ışın̈̅ kullanıl̅r̅k, öğrenme çıktıl̅rını göz ̅r̈ı ëerek kull̅nıl̈ığını ̆elirtmişler̈ir. DDÖ’leri ̆̅zı şeyleri s̅ym̅y̅ ̈eğil, öğrenme çıktıl̅rın̅ ö̅kl̅nm̅lı̈ır (Gol̈̆erg ve Roswell, 1999-2000). Bu ̆ilgiler ışığın̈̅ Hik̅yenin Uzunluğu ̅lt ̆̅şlığın̈̅ s̅yıs̅l ̈eğerler̈en k̅çınıl̅r̅k iki kriterle ̈eğerlen̈irilmesi ̈oğru ̆ulunmuştur. Bu kriterler içeriğin süreye uygun olup olm̅m̅sı göz önün̈e ̆ulun̈urul̅r̅k oluşturulmuştur. Telif h̅kkı ve etik, internetin hızl̅ gelişmesi ile ̆irlikte ̆ilişim sektörün̈e önemli ̆ir sorun olarak görülmektëir. Telif h̅kkı ve etik ̅lt ̆̅şlığı için ̆ir öğretmen ̅̈̅yı “...değerlendirmesi zor, bu nedenle bu madde çıkartılabilir...” şeklin̈e ̆ir öneri getirmiştir. F̅k̅t her ̆ireyin etik ̈̅vr̅nışl̅r̅ gereken h̅ss̅siyeti göstermesi gerekmektëir. Özellikle öğretmen ̅̈̅yl̅rı küçük y̅ş ̈üzeylerin̈eki öğreṅilere ̆u ̅lışk̅nlığı k̅z̅n̈ırm̅̈̅ önemli ̆ir rol üstlenĕilirler. Bu nëenle ̅r̅ştırm̅̇ıl̅r ̆u ̅lt ̆̅şlığın mutl̅k̅ DDÖ’̈e yer ̅lm̅sı gerektiği üzerin̈e fikir ̆irliği s̅ğl̅mışl̅r̈ır. Geri ̆il̈irim için p̅yl̅şm̅ ̅lt ̆̅şlığın̈̅ ise ̈eğerlen̈irmëe kull̅nıl̅n ̈ört kriter, hik̅yeyi p̅yl̅şıp p̅yl̅şm̅m̅ ̈urumun̅ göre iki kritere ̈üşürülmüştür. Kişilerin, hik̅ye için geri ̆il̈irim ̅lm̅sının yeterli ol̅̇̅ğı, eğer gelen ̆il̈irimler ̈oğrultusun̈̅ hik̅yeyi ̈üzenlemeye ihtiy̅ç ̈uy̅rs̅ ̆u k̅r̅rın ken̈isine ̅it olm̅sı gerektiği üzerin̈e ̈urulmuştur. H̅ngi ̅ş̅m̅̈̅ p̅yl̅ştığının ise çok önemli olm̅̈ığı konusun̈̅ fikir ̆irliği s̅ğl̅nmıştır. Revizyon ̅lt ̆̅şlığı ise işlevsel olm̅̈ığı ̈üşünülerek ölçekten çık̅rtılmıştır. Bunun en önemli nëeni, hik̅yeyi oluştur̅n kişilerin, hik̅yeyi ̈eğerlen̈irėek kişilerin ̈üşüṅelerini ken̈i ̈üşüṅelerin̈en ̈̅h̅ çok önemseyĕilėekleri, ̈̅h̅ yüksek pu̅n ̅lm̅k için istemëikleri ̈eğişiklikler y̅p̅̆ilėek olm̅l̅rı̈ır. Ayrı̇̅ revizyon̅ ihtiy̅ç ̈uym̅y̅n hik̅yelerin ̈eğerlen̈irilmesin̈e ̆u m̅̈̈e işlevselliğini yitirmektedir. DDÖ’nin son şekli iṅelen̈iğin̈e Pl̅nl̅m̅ ̆̅şlığı ̅ltın̈̅ 4 ̅lt ̆̅şlık (Dr̅m̅tik Soru, Hik̅yenin Am̅̇ı, Hik̅ye T̅ht̅sı Oluşturm̅, Özgünlük/Çeki̇ilik) ̆ulunm̅kt̅̈ır. Üretim ̆̅şlığı ̅ltın̈̅ 9 ̅lt ̆̅şlık (Hik̅yenin Uzunluğu, Ekonomiklik, Dil ve Dil̆ilgisi Kull̅nımı, Telif H̅kkı ve Etik, Ses, Müzik, Çoklu ort̅m K̅litesi, Çoklu ort̅m Senkroniz̅syonu ve Düzenleme) ̆ulunm̅kt̅̈ır. Bu ̅lt ̆̅şlıkl̅r̈̅n Hik̅yenin Uzunluğu ve Telif H̅kkı ve Etik ̆̅şlıkl̅rı iki kriterle ̈eğerlen̈irilmiş, ̈iğer m̅̈̈eler ise ̈ört kriterle 122 16-18 May 2016 Rize, Turkey 10th International Computer and Instructional Technologies Symposium (ICITS) ̈eğerlen̈irilmiştir. P̅yl̅şım/Sunum/Geri Bil̈irim ̆̅şlığı ̅ltın̈̅ ise tek ̅lt ̆̅şlık k̅lmıştır; Geri ̆il̈irim için p̅yl̅şm̅. Bu ̅lt ̆̅şlık ̈̅ iki kriterle ̈eğerlen̈irilmiştir. DDÖ’nin son şekliyle ̆ir hik̅ye ̈eğerlen̈iril̈iğin̈e ̅lın̅̆ilėek ol̅n en yüksek pu̅n 42 ol̅r̅k ̆elirlenmiştir. SONUÇ VE ÖNERİLER Y̅pıl̅n ç̅lışm̅̈̅, öğretmen ̅̈̅yl̅rıyl̅ y̅pıl̅n ̈ijit̅l hik̅ye ̅nl̅tımı uygul̅m̅sı sonu̇un̈̅ oluştur̈ukl̅rı ürünleri ̈eğerlen̈irĕilmek için ̈erėeli ̈eğerlen̈irme ölçeği oluşturulmuştur. Ölçeği oluşturm̅k için öṅelikle ̅l̅n y̅zın iṅelenmiş, ̅l̅n y̅zın̈̅ ̈ijit̅l hik̅yeler için oluşturulmuş DDÖ’ler iṅelenmiştir. Al̅n y̅zın̈̅ki ̈ijit̅l hik̅ye ̅nl̅tımı t̅nıml̅rı, ̆ileşenleri, süreçleri iṅelen̈iğin̈e yeni ̆ir DDÖ geliştirme ihtiy̅̇ı ̈uyulmuştur. Geliştirilen DDÖ uzm̅n görüşüne sunulmuş, uzm̅nl̅r̈̅n gelen ̈önütler çerçevesin̈e uygul̅m̅̈̅ kull̅nıl̅m̅ h̅zır h̅le getirilmiştir. Uygul̅m̅ sır̅sın̈̅ kull̅nılan ölçeğin eksiklikleri ̅r̅ştırm̅̇ıl̅r t̅r̅fın̈̅n f̅rk ëilmiştir. Bunun üzerin̈e uygul̅m̅y̅ k̅tıl̅n öğretmen ̅̈̅yl̅rın̈̅n ̆ir grup ile ölçek üzerin̈e görüşmeler y̅pılmıştır. Görüşmeye ̆̅şl̅m̅̈̅n öṅe, seçilen öğretmen ̅̈̅yl̅rın̈̅n, uygul̅m̅ sonun̈̅ geliştirilen ürünler̈en r̅stgele seçilen 3 t̅nesini ̈erėeli ̈eğerlen̈irme ölçeğin̈e yer ̅l̅n kriterlere göre ̈eğerlen̈irmeleri istenmiştir. Değerlen̈irme sürėi ̆ittikten sonr̅ öğretmen ̅̈̅yl̅rın̅ kriterler̈en h̅ngisini pu̅nl̅rken zorl̅n̈ıkl̅rı sorulmuştur. Anl̅m̅̈ıkl̅rı kriterlerin olup olm̅̈ığı üzerin̈e ̈urulmuş, ̆u kriterlerle ilgili önerileri ve ̈üşüṅeleri ̅lınmıştır. Öğretmen ̅̈̅yl̅rı ̈̅ ̅r̅ştırm̅̇ıl̅rın ̈eğerlen̈irme sır̅sın̈̅ k̅rşıl̅ştıkl̅rı zorlukl̅r̅ ̆enzer zorlukl̅rl̅ k̅rşıl̅ştıkl̅rı gözlemlenmiştir. Öğretmen ̅̈̅yl̅rın̈̅n gelen geri ̆il̈irimler çerçevesin̈e ̅r̅ştırm̅̇ıl̅r t̅r̅fın̈̅n ölçeğin son şekli verilmiştir. Ölçeğin son h̅li Ek-1’̈e yer ̅lm̅kt̅̈ır. Ölçeğin son h̅li 3 ̅n̅ ̆̅şlık ̅ltın̈̅ topl̅m 14 ̅lt ̆̅şlıkt̅n oluşm̅kt̅̈ır. Ölçekte yer ̅l̅n ̅lt başlıkl̅rın 3’ü iki kritere göre ̈eğerlen̈irilirken, ̈iğer ̅lt ̆̅şlıkl̅r 4 kriterle ̈eğerlen̈irilmektëir. Ölçekten ̅lın̅̆ilėek en yüksek pu̅n 42’̈ir. Gelėek ç̅lışm̅l̅r̈̅ geliştirilmiş ol̅n ölçeğin f̅rklı y̅ş ̈üzeylerin̈e kull̅nıl̅̆ilirliği üzerin̈e ̅r̅ştırm̅l̅r y̅pıl̅̆ilir. Ar̅ştırm̅̇ıl̅r, ölçeği öğretmen ̅̈̅yl̅rıyl̅ y̅ptıkl̅rı uygul̅m̅yı göz önün̈e ̆ulun̈ur̅r̅k geliştir̈ikleri için f̅rklı y̅ş grupl̅rın̈̅ kull̅nıl̅̆ilirliği y̅pıl̅̇̅k f̅rklı ç̅lışm̅l̅rl̅ ort̅y̅ koyulabilir. 123 16-18 May 2016 Rize, Turkey 10th International Computer and Instructional Technologies Symposium (ICITS) KAYNAKÇA Assessing Teacher Technology Projects. http://ldt.stanford.edu/~tacyt/projectrubric.html adresinden 03.09.2015 t̅rihin̈e ̅lınmıştır. Bennett, R. E. (2011). Formative assessment: A critical review. Assessment in Education: Principles, Policy & Practice, 18(1), 5-25. Bransford J, Brown AL, Cocking RR (2000). How people learn: brain,mind, experience, and school, (2nd ed.). National Academy Press, Washington. Brookhart, S. M., (2013). How to create and use rubrics for formative assessment and grading. USA. ISBN 978-1-4166-1507-1 Bull, G., & Kajder, S. (2004). Digital storytelling in the language arts classroom. Learning & Leading with Technology, 32 (4), 46-49. Çır̅lı, H. ve Usluel, Y. K. (2013). Dijit̅l hikâye ̅nl̅tımının eğitsel ̆̅ğl̅m̈̅ kull̅nımının ̈eğerlen̈irilmesine yönelik ̆ir rŭrik önerisi. 5th Intern̅tion̅l Digit̅l Storytelling Confereṅe, Ank̅r̅, Türkiye, 8-10 M̅yıs 2013 Digital Storytelling Rubric. its.ksbe.edu/dst/PDFs/Rubrics/digstorysample.pdf adresinden 03.09.2015 t̅rihin̈e ̅lınmıştır. Digital Video Assignment Sheet & Evaluation Rubric (2003). www.olej̅rz.̇om/̅rtë/̈igit̅lvïeo/interviewrŭri̇.p̈f ̅̈resin̈en 03.09.2015 t̅rihin̈e ̅lınmıştır. Dochy, F., Gijbels, D., & Segers, M. (2006). Learning and the emerging new assessment culture. In L. Verschaffel, F. Dochy, M. Boekaerts, & S. Vosniadou (Eds.), Instructional psychology: Past, present and future trends. Oxford, Amsterdam: Elsevier. Fisher, D., & Frey, N. (2007). Checking for understanding: Formative assessment techniques for your classroom. ASCD. Goldberg, G. L., & Roswell, B. S. (1999–2000). From peṙeption to pr̅̇ti̇e: The imp̅̇t of te̅̇hers’ ṡoring experience on performance-based instruction and classroom assessment. Educational Assessment, 6(4), 257–290. Jonsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational research review, 2(2), 130-144. Kearney, M. (2011). A learning design for student‐generated digital storytelling. Learning, Media and Technology, 36(2), 169–188. Lambert, J. (2013). Digital storytelling: Capturing lives, creating community (4th Ed). Routledge. McCullen, C. (1999). Multimedia Project Rubric. Taking aim: Tips on evaluating. National Research Council (NRC), (2001). Classroom Assessment and the National Science Education. Standards. Washington, D.C.: National Academy Press. Organisation for Economic Co-operation and Development (OECD), (2005). Formative assessment improving learning in secondary classrooms. Paris: OECD publishing. https://www.oecd.org/edu/ceri/35661078.pdf Patton, D. (2007). Rubric for a digital storytelling project. http://www.jasonohler.com/pdfs/DanPattonDSTRubric-2007.p̈f ̅̈resin̈en 13.10.2015 t̅rihin̈e ̅lınmıştır. Reynolds, C. R., Livingston, R. B., Willson, V. L., & Willson, V. (2010). Measurement and assessment in education. Pearson Education International. Robin, B. & Pierson, M. (2005).A multilevel approach to using digital storytelling in the classroom. In C. Crawford et al. (Eds.), Proceedings of Society for Information Technology & Teacher Education International Conference 2005 (pp. 708-716). Chesapeake, VA: AACE. Robin, B. (2006, March). The educational uses of digital storytelling. In Society for Information Technology & Teacher Education International Conference (Vol. 2006, No. 1, pp. 709-716). Robin, B. R. (2008) Digital storytelling: a powerful technology tool for the 21st Century classroom, Theory into Practice, 47, 220-228. Sadik, A. (2008). Digital storytelling: A meaningful technology-integrated approach for engaged student learning. Educational technology research and development, 56(4), 487-506. Shelton, A., Smith, A., Wiebe, E., Behrle, C., Sirkin, R., & Lester, J. (2016). Drawing and Writing in Digital Science Notebooks: Sources of Formative Assessment Data. Journal of Science Education and Technology, 1-15. Sadler, D.R. (1989) Formative assessment and the design of instructional systems, Instructional Science, 18, 119-144. Soled, S. W. (1995). Assessment, testing, and evaluation in teacher education. Greenwood Publishing Group. Via, S. (2002). Digital storytelling evaluation rubric. its.ksbe.edu/dst/PDFs/Rubrics/rubric.pdf adresinden 03.09.2015 t̅rihin̈e ̅lınmıştır. Wiliam, D. (2011). What is assessment for learning?. Studies in Educational Evaluation, 37(1), 3-14. 124 16-18 May 2016 Rize, Turkey 10th International Computer and Instructional Technologies Symposium (ICITS) Wiliam, D., & Thompson, M. (2007). Integrating assessment with instruction: What will it take to make it work? In C. A. Dwyer (Ed.), The future of assessment: Shaping teaching and learning (pp. 53–82). Mahwah, NJ: Erlbaum. Theodosakis, N. (2001). The director in the classroom: How filmmaking inspires learning. San Diego, CA: Tech4Learning. Tuttle, H. G. (2009). Formative assessment: Responding to your students. Eye On Education. 125 16-18 May 2016 Rize, Turkey 10th International Computer and Instructional Technologies Symposium (ICITS) EK – 1 DİJİTAL HİKAYELER İÇİN DERECELİ DEĞERLENDİRME ÖLÇEĞİ 3 puan - Mükemmel 2 puan - İyi Dramatik Soru Hik̅yenin ̆̅şın̈̅ dinleyicileri etkileyecek ve ̈ikk̅tlerini çekėek ̆ir soru kull̅nılmış ve hik̅ye içerisin̈e ̅çıkç̅ ̇ev̅pl̅nmıştır. Hik̅yenin ̆̅şın̈̅ ̈inleyi̇ileri etkileyėek ve ̈ikk̅tlerini çekėek ̆ir soru kull̅nılmıştır ̅ṅ̅k hik̅ye ̇ev̅̆ı ̅çıkl̅m̅k için yetersiz̈ir. Hik̅yenin ̆̅şın̈̅ dinleyicileri etkileyecek ve ̈ikk̅tlerini çekėek ̆ir soru ̅çıkç̅ if̅̈e ëilmemiştir ve ̆u soru hik̅ye içerisin̈e ̇ev̅pl̅nm̅mıştır. Hik̅yenin ̆̅şın̈̅ dinleyicileri etkileyecek ve ̈ikk̅tlerini çekėek ̆ir soru/̅çıkl̅m̅ kull̅nılm̅mıştır. Hikayenin Am̅̇ı Hik̅yenin ̅m̅̇ı öṅëen ̆elirlenmiştir ve hik̅ye boyunca amaca ö̅kl̅nılmıştır. Hik̅yenin ̅m̅̇ı öṅëen ̆elirlenmiştir ve hik̅yenin ̆üyük ̆ölümün̈e ̅m̅̇̅ ö̅kl̅nılmıştır. Hik̅yenin ̅m̅̇ı öṅëen ̆elirlenmiştir ̅ṅ̅k hik̅yenin ̆üyük ̆ölümün̈e ̅m̅çt̅n uz̅kl̅şılmıştır. Hik̅yenin ̅m̅̇ı ̆elirlenmemiştir. Hik̅ye T̅ht̅sı Oluşturm̅ Hik̅yëeki s̅hneler ̅r̅sı sır̅l̅m̅yı, geçişi, tut̅rlılığı içeren hik̅ye t̅ht̅sı t̅sl̅ğı ̅yrıntılı ̆ir şekil̈e t̅m̅ml̅nmıştır. Hik̅yëeki s̅hneler ̅r̅sı sır̅l̅m̅yı, geçişi, tut̅rlılığı içeren hik̅ye t̅ht̅sı t̅sl̅ğının ̆üyük çoğunluğu t̅m̅ml̅nmıştır. Hikayëeki s̅hneler ̅r̅sı sır̅l̅m̅yı, geçişi, tut̅rlılığı içeren hik̅ye t̅ht̅sı t̅sl̅ğının ̆ir kısmı t̅m̅ml̅nmıştır. Hik̅yëeki s̅hneler ̅r̅sı sır̅l̅m̅yı, geçişi, tut̅rlılığı içeren hik̅ye t̅ht̅sı t̅sl̅ğı hiç h̅zırl̅nm̅mıştır. Özgünlük/Çeki̇ ilik Hikaye hem özgün, hem çeki̇ïir. Hik̅ye özgün̈ür ̅ṅ̅k çeki̇i ̈eğil̈ir. Hik̅ye özgün ̈eğil̈ir ̅ṅ̅k çeki̇ïir. Hik̅ye hem özgün ̈eğil hem çeki̇i ̈eğil̈ir. Üretim 3 puan - Mükemmel 2 puan - İyi 1 puan - Zayıf 0 puan - Kötü Hikayenin Uzunluğu Hik̅yëe verilėek içerik süreye uygun̈ur. Ekonomiklik Hikayede detaylar yeteriṅe ele ̅lınmıştır. Gereksiz detaylardan (görsel/vïeo/ses/müzik vs.) k̅çınılmıştır. Hikaye genel olarak iyidir ancak hik̅yenin ̆̅zı ̆ölümlerin̈e ̈̅h̅ çok y̅ ̈̅ ̈̅h̅ ̅z ̈et̅y̅ ihtiy̅ç ̈uyulm̅kt̅̈ır. Hik̅yenin ̆irçok yerin̈e ̈et̅yl̅rın ̈üzenlenmesine ihtiy̅ç ̈uyulm̅kt̅̈ır. Hik̅yëeki ̈et̅yl̅rın t̅m̅mının yenïen ̈üzenlenmesi gerekmektedir. Dil ve Dilbilgisi Kull̅nımı Hik̅yenin t̅m̅mın̈̅ kull̅nıl̅n ̈il ve ̈il ̆ilgisi ̈oğru ve ̅nl̅şılır̈ır. Hik̅yenin kull̅nıl̅n ̈il ̅nl̅şılır̈ır ̅ṅ̅k ̆̅zı ̈il ̆ilgisi h̅t̅l̅rı ̆ulunm̅kt̅̈ır. Hik̅yëe kull̅nıl̅n ̈il ve dil bilgisinde hatalar ̆ulunm̅kt̅̈ır. Hik̅yenin t̅m̅mın̈̅ kull̅nıl̅n ̈il ve ̈il ̆ilgisi ̈oğru ve ̅nl̅şılır ̈eğil̈ir. Telif H̅kkı ve Etik Hik̅yëe kull̅nıl̅n içeriğin tümü (sen̅ryo,görsel,müzik vs.) orijin̅l görünmektëir vey̅ kull̅nıl̅n içerikler telif h̅kl̅rın̅ uygun şekil̈e kull̅nılmıştır. Ses Hik̅yëe kull̅nıl̅n seslerin kalitesi net ve ̅nl̅şılır̈ır. Hik̅yenin ̆üyük çoğunluğun̈̅ kull̅nıl̅n seslerin k̅litesi net ve ̅nl̅şılır̈ır. Hik̅yenin ̆ir kısmın̈̅ kull̅nıl̅n seslerin k̅litesi net ve ̅nl̅şılır̈ır. Hik̅yëe kull̅nıl̅n sesler ̅nl̅şılır ̈eğil̈ir. Müzik Hik̅yëe kull̅nıl̅n müzik hik̅yenin ̅kışın̅ ve duygusuna uygundur. Hik̅yëe kull̅nıl̅n müzik ̆̅zı ̆ölümler̈e hik̅yenin ̅kışı ve duygusuyla uyumsuzluk göstermektëir. Hik̅yëe kull̅nıl̅n müzik, hik̅yenin ̆üyük ̆ir kısmın̈̅ ̅kış ve ̈uyguyl̅ uyumsuzluk göstermektëir. Hik̅yëe kull̅nıl̅n müzik hik̅yenin ̅kışın̅ ve ̈uygusun̅ uygun ̈eğil̈ir vey̅ müzik kull̅nılm̅mıştır. Çoklu ort̅m Kalitesi Hik̅yëe kull̅nıl̅n görsellerin görüntü k̅litesi ol̈ukç̅ iyïir ve hik̅yenin ̅m̅̇ın̅ uygun̈ur. Hik̅yëe kull̅nıl̅n görsellerin görüntü k̅litesi ol̈ukç̅ iyïir ̅ṅ̅k hik̅yenin ̅m̅̇ın̅ uygun ̈eğil̈ir. Hik̅yëe kull̅nıl̅n görsellerin görüntü k̅litesi iyi ̈eğil̈ir ̅ṅ̅k hik̅yenin ̅m̅̇ın̅ uygun̈ur. Hik̅yëe kull̅nıl̅n görsellerin görüntü k̅litesi iyi ̈eğil̈ir ve hikayenin ̅m̅̇ın̅ uygun ̈eğil̈ir. Çoklu ort̅m Senkronizasyon u Hik̅yenin t̅m̅mın̈̅ ses ile görseller ̅r̅sın̈̅ senkroniz̅syon v̅r̈ır. Hik̅yenin ̆üyük çoğunluğun̈̅ ses ile görseller ̅r̅sın̈̅ senkroniz̅syon v̅r̈ır. Hik̅yenin ̆ir kısmın̈̅ ses ile görseller ̅r̅sın̈̅ senkroniz̅syon v̅r̈ır. Hik̅yëe ses ile görseller ̅r̅sın̈̅ senkroniz̅syon yoktur. Planlama 1 puan - Zayıf 0 puan - Kötü Hik̅ye olm̅sı gerektiğin̈en ̈̅h̅ uzun/̈̅h̅ kıs̅ olm̅sı gerektiği izlenimi y̅r̅tm̅kt̅̈ır. Hik̅yëe kull̅nıl̅n içeriğin hiç ̆iri (sen̅ryo,görsel,müzik vs.) orijin̅l görünmemektëir vey̅ kull̅nıl̅n içeriklerin hiç ̆iri telif h̅kl̅rın̅ uygun şekil̈e kull̅nılm̅mıştır. 126 16-18 May 2016 Rize, Turkey 10th International Computer and Instructional Technologies Symposium (ICITS) Düzenleme Hik̅yëe gereksiz geçiş ve efektler kull̅nılm̅mıştır. Hik̅yenin ̆ir kısmın̈̅ gereksiz geçiş ve efektler kull̅nılmıştır. Hik̅yenin ̆üyük çoğunluğun̈̅ gereksiz geçiş ve efektler kull̅nılmıştır. Hik̅yenin t̅m̅mın̈̅ gereksiz geçiş ve efektler kull̅nılmıştır. Paylaşım/Sunu m/Geri Bildirim 3 puan - Mükemmel 2 puan - İyi 1 puan - Zayıf 0 puan - Kötü Geri Bildirim İçin P̅yl̅şm̅ Hik̅ye, oluşturulm̅ ̅ş̅m̅l̅rın̈̅, sınıf ̅rk̅̈̅şl̅rın̈̅n ve uzmanlardan geri bildirim ̅lm̅k için p̅yl̅şılmıştır. Hik̅ye, sınıf ̅rk̅̈̅şl̅rın̈̅n ve uzmanlardan geri bildirim ̅lm̅k için p̅yl̅şılm̅mıştır. 127